ストリームデータ処理基盤

uCosminexus Stream Data Platform - Application Framework システム構築・運用ガイド

手引・文法・操作書

3020-3-V02-20

目　　次

前書き
変更内容
はじめに
第1編　お読みいただく前に
1.　Stream Data Platform - AFでのシステム構築・運用の概要
1.1　導入から運用までの流れ
1.2　このマニュアルの構成
第2編　設計・構築
2.　システムの設計
2.1　設計の流れ
2.2　システム構成の検討
2.2.1　ストリームデータ処理システムのプログラムの構成
2.2.2　ストリームデータ処理システムの構成要素
2.2.3　標準提供アダプター使用時の構成
2.2.4　カスタムアダプター使用時の構成
2.3　ストリームデータ処理エンジンの検討
2.3.1　SDPサーバの数の検討
2.3.2　SDPサーバの時刻制御方式の検討
2.3.3　タプルのタイムスタンプの調整の検討
2.4　アダプター構成の検討
2.4.1　使用するアダプターの検討
2.4.2　標準提供アダプターを使用する場合の検討項目
2.4.3　カスタムアダプターを使用する場合の検討項目
2.5　標準提供アダプターで実行する処理の検討
2.5.1　データの入力方法の検討
2.5.2　データの編集方法の検討
2.5.3　データの出力方法の検討
2.6　集計・分析シナリオの検討
2.6.1　ストリームデータの集計・分析シナリオの検討
2.6.2　クエリグループを実行する運用ディレクトリの構成の検討
2.6.3　外部定義関数で実行する処理の検討
2.7　メモリ使用量の見積もり
2.7.1　ストリームデータ処理エンジンに関するメモリ使用量の見積もり
2.7.2　標準提供アダプターに関するメモリ使用量の見積もり
3.　システムの構築
3.1　構築の流れ
3.2　ディレクトリ構成
3.2.1　インストールディレクトリの構成
3.2.2　運用ディレクトリの構成
3.3　運用環境の設定
3.3.1　運用ユーザーの登録
3.3.2　運用ディレクトリの作成
3.4　SDPサーバ用定義ファイルの作成
3.4.1　SDPサーバ用定義ファイルで設定できること
3.4.2　SDPサーバ用定義ファイルの作成のしかた
3.5　クエリ定義ファイルの作成
3.5.1　クエリ定義ファイルで設定できること
3.5.2　クエリ定義ファイルの作成のしかた
3.6　アダプター用定義ファイルの作成
3.6.1　アダプター用定義ファイルで設定できること
3.6.2　アダプター用定義ファイルの作成のしかた
3.7　外部定義関数定義ファイルの作成
3.7.1　外部定義関数定義ファイルで設定できること
3.7.2　外部定義関数定義ファイルの作成のしかた
3.8　ダッシュボードの設定
3.8.1　ダッシュボード表示用データの出力の設定
3.8.2　Dashboard Serverの設定
3.8.3　Dashboard Viewerの設定
第3編　運用
4.　システムの運用
4.1　システムの運用の流れ
4.2　システムの起動
4.2.1　SDPサーバの起動
4.2.2　クエリグループの登録
4.2.3　クエリグループの開始
4.2.4　アダプターの起動（標準提供アダプター）
4.2.5　アダプターの起動（カスタムアダプター）
4.2.6　アダプターグループの状態の確認
4.3　クエリとクエリグループの運用
4.3.1　クエリの再実行
4.3.2　クエリグループの状態表示
4.4　システムの停止
4.4.1　アダプターの停止（標準提供アダプター）
4.4.2　アダプターの停止（カスタムアダプター）
4.4.3　クエリグループの停止
4.4.4　SDPサーバの停止
4.5　ダッシュボードでの分析結果の表示
4.5.1　Dashboard Serverの起動
4.5.2　Dashboard Viewerでの分析結果の表示
4.5.3　Dashboard Serverの停止
5.　システムの変更
5.1　システムの変更の概要
5.2　ストリームデータ処理エンジンの変更
5.3　クエリグループの変更
5.3.1　プロパティファイルの設定値の変更
5.3.2　クエリ定義ファイルの変更
5.4　アダプターの変更
5.5　外部定義関数の変更
5.6　ダッシュボードの変更
5.6.1　Dashboard Viewerの画面の変更
5.6.2　Dashboard Serverの登録解除
5.7　メッセージの出力言語種別の変更
6.　トラブルシューティング
6.1　トラブル発生時の対処の手順
6.2　トラブル発生時に採取が必要な資料
6.3　ログファイルおよびトレースファイルの詳細
6.3.1　ログファイルの詳細
6.3.2　APIトレースの詳細
6.3.3　アダプタートレースの詳細
6.3.4　タプルログの詳細
6.3.5　スレッドダンプの詳細
6.4　主なトラブルへの対処方法
6.4.1　システムの運用時のトラブル
第4編　リファレンス
7.　コマンド
コマンドの記述形式
コマンド一覧
sdpcql（クエリグループの登録）
sdpcqldel（クエリグループの削除）
sdpcqlstart（クエリグループの開始）
sdpcqlstop（クエリグループの停止）
sdpls（クエリグループの状態表示）
sdpsetup（運用環境のセットアップ）
sdpstart（SDPサーバの起動）
sdpstartap（RMI連携アダプターの起動）
sdpstartinpro（インプロセス連携アダプターの起動）
sdpstop（SDPサーバの停止）
sdpstopap（RMI連携アダプターの停止）
sdpstopinpro（インプロセス連携アダプターの停止）
sdptplls（タプル情報の表示）
sdptplput（タプルの再投入）
sdptrced（トレース情報の編集）
8.　SDPサーバ用定義ファイル
8.1　SDPサーバ用定義ファイルの説明の記述形式
8.2　SDPサーバ用定義ファイル作成上の注意事項
8.3　SDPサーバ用定義ファイルの一覧
8.4　SDPサーバ用JavaVMオプションファイル（jvm_options.cfg）
8.5　RMI連携用JavaVMオプションファイル（jvm_client_options.cfg）
8.6　システムコンフィグプロパティファイル（system_config.properties）
8.6.1　システムコンフィグプロパティファイル（system_config.properties）の詳細
8.6.2　システムコンフィグプロパティファイル（system_config.properties）のパラメーターの詳細
8.7　クエリグループ用プロパティファイル
8.7.1　クエリグループ用プロパティファイルの詳細
8.7.2　クエリグループ用プロパティファイルのパラメーターの詳細
8.7.3　条件演算式の記述規則
8.8　ストリーム用プロパティファイル
8.8.1　ストリーム用プロパティファイルの詳細
8.8.2　ストリーム用プロパティファイルのパラメーターの詳細
8.9　インプロセス連携用プロパティファイル
8.10　ログファイル出力用プロパティファイル（logger.properties）
8.11　JavaVMオプションの一覧
9.　アダプター用定義ファイル
9.1　アダプター用定義ファイルの説明の記述形式
9.2　アダプター用定義ファイル作成上の注意事項
9.3　アダプター用定義ファイルの一覧
9.4　アダプターコマンド定義ファイル（AgentManagerDefinition.xml）
9.5　アダプター構成定義ファイル（AdaptorCompositionDefinition.xml）
9.5.1　アダプター構成定義ファイル（AdaptorCompositionDefinition.xml）の概要
9.5.2　アダプター構成定義ファイルの名前空間URI
9.6　アダプター構成定義ファイルの共通定義
9.6.1　共通定義
9.6.2　アダプタートレース定義
9.7　アダプター構成定義ファイルのアダプターグループ定義
9.7.1　インプロセスグループ定義
9.7.2　RMIグループ定義
9.8　アダプター構成定義ファイルのアダプター定義
9.8.1　入力アダプター定義
9.8.2　出力アダプター定義
9.9　アダプター構成定義ファイルのCB定義
9.9.1　入力用CB定義
9.9.2　出力用CB定義
9.9.3　編集用CB定義
9.9.4　送信用CB定義
9.9.5　受信用CB定義
9.10　アダプター構成定義ファイルの入出力用CB定義
9.10.1　ファイル入力コネクター定義
9.10.2　HTTPパケット入力コネクター定義
9.10.3　ファイル出力コネクター定義
9.10.4　ダッシュボード出力コネクター定義
9.11　アダプター構成定義ファイルのデータ編集用CB定義
9.11.1　フォーマット変換定義
9.11.2　マッピング定義
9.11.3　フィルター定義
9.11.4　レコード抽出定義
9.12　アダプター構成定義ファイルの送受信用CB定義
9.12.1　入力ストリーム定義
9.12.2　出力ストリーム定義
9.13　アダプター構成定義ファイルの記述例
9.13.1　記述例1
9.13.2　記述例2
10.　外部定義関数定義ファイル
10.1　外部定義関数定義ファイル（ExternalFunctionDefinition.xml）
10.1.1　外部定義関数定義ファイル（ExternalFunctionDefinition.xml）の概要
10.1.2　外部定義関数定義ファイルの名前空間URI
10.2　外部定義関数定義ファイルの関数グループ定義
10.2.1　関数グループ定義
10.3　外部定義関数定義ファイルの関数定義
10.3.1　関数定義
10.3.2　戻り値定義
10.4　外部定義関数定義ファイルの記述例
11.　定義ファイルでの定義内容の詳細
11.1　この章の構成
11.2　ファイルの入力
11.2.1　ファイルの入力の概要
11.2.2　ファイルの入力のデータ処理の流れ
11.2.3　ファイルの入力の設定
11.3　HTTPパケットの入力
11.3.1　HTTPパケットの入力の概要
11.3.2　HTTPパケットの入力のデータ処理の流れ
11.3.3　HTTPパケットの入力の設定
11.4　レコードのフィルタリング
11.4.1　レコードのフィルタリングの概要
11.4.2　レコードのフィルタリングのデータ処理の流れ
11.4.3　レコードのフィルタリングの設定
11.5　レコードの抽出
11.5.1　レコードの抽出の概要
11.5.2　レコードの抽出のデータ処理の流れ
11.5.3　レコードの抽出の設定
11.6　ファイルへの出力
11.6.1　ファイルへの出力の概要
11.6.2　ファイルへの出力のデータ処理の流れ
11.6.3　ファイルへの出力の設定
11.7　ダッシュボードへの出力
11.7.1　ダッシュボードへの出力の概要
11.7.2　ダッシュボードへの出力のデータ処理の流れ
11.7.3　ダッシュボードへの出力の設定
11.8　タプルのタイムスタンプの調整
11.8.1　タイムスタンプ調整の適用範囲
11.8.2　調整する時刻の範囲
11.8.3　時刻の調整方法
11.8.4　タプル入力完了後の処理
11.8.5　クエリグループの停止閉塞時の動作
11.8.6　タプルの保留期限
11.8.7　フィルタリングによるタプルの選択
11.8.8　タイムスタンプ調整の設定
12.　Flex Dashboardの設定内容の詳細
12.1　この章の構成
12.2　Dashboard Serverのサーバ内設定ファイル（usrconf.properties）
12.3　Dashboard Viewerの画面編集用ファイル
12.3.1　Dashboard Viewerの画面構成
12.3.2　Dashboard Viewerの画面編集用ファイルの詳細
12.4　ダッシュボード出力の定義例
12.4.1　出力アダプター定義（最新のデータの表示）
12.4.2　出力アダプター定義（履歴を含むデータの表示）
付録
付録A　各バージョンの変更内容
付録B　このマニュアルの参考情報
付録B.1　関連マニュアル
付録B.2　このマニュアルでの表記
付録B.3　英略語
付録B.4　KB（キロバイト）などの単位表記について
索引

[他社商品名称に関する表示]

All Rights Reserved. Copyright (C) 2010, 2014, Hitachi, Ltd.