ストリームデータ処理基盤 uCosminexus Stream Data Platform - Application Framework システム構築・運用ガイド

[目次][索引][前へ][次へ]

8.8.2 ストリーム用プロパティファイルのパラメーターの詳細

ここでは,「8.8.1(5) 指定できるパラメーター」で示したストリーム用プロパティファイルのパラメーターの詳細について説明します。

<この項の構成>
(1) stream.filterCondition=条件演算式
(2) stream.filterMode={unuse|condition}
(3) stream.freeInputQueueSizeThreshold=入力ストリームキューの最大サイズに対する空きサイズのしきい値
(4) stream.freeInputQueueSizeThresholdOutputMessage={true|false}
(5) stream.maxKeepTupleCount=タイムスタンプ調整機能で保留できるタプル数の上限値
(6) stream.streamName=ストリームの名称
(7) stream.timestampAccuracy={{sec|msec|usec},時刻調整範囲|unuse}
(8) stream.timestampPosition=時刻データ列名
(9) tpl.backupFileCount=タプルログファイルのバックアップを残す最大世代数
(10) tpl.bufferCount=タプルログのバッファーの面数
(11) tpl.bufferSize=タプルログのバッファーの最大サイズ
(12) tpl.fileCount=タプルログファイルの最大ファイル数
(13) tpl.fileSize=タプルログファイルの最大サイズ
(14) tpl.outputLevel=タプルログの出力レベル
(15) tpl.outputTrigger={BUFFER|NONE}
(16) tpl.useOverwrite={true|false}

(1) stream.filterCondition=条件演算式

タイムスタンプ調整機能でタプルのフィルタリングをする場合に,フィルタリングの条件演算式を指定します。タプルのフィルタリングでは,条件演算式の列名に指定した列の内容と,定数に指定した内容に対して条件演算を行います。条件演算の結果,一致する内容を持つタプルはタイムスタンプ調整機能で保留し,一致しないタプルは破棄します。

条件演算式の記述方法については,「8.7.3 条件演算式の記述規則」を参照してください。

stream.filterModeパラメーターでconditionを指定した場合,このパラメーターを必ず指定してください。stream.filterModeパラメーターでunuseを指定した場合,このパラメーターの指定は無視されますが,パラメーターの形式チェックは実施されます。

このパラメーターは,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル

(2) stream.filterMode={unuse|condition}

タイムスタンプ調整機能でタプルのフィルタリングをするかどうかをunuseまたはconditionで指定します。大文字,小文字の区別はされません。

unuse
タプルのフィルタリングをしません。
condition
タプルのフィルタリングをします。
conditionを指定した場合は,stream.filterConditionパラメーターを必ず指定してください。

stream.timestampAccuracyパラメーターでunuseを指定した場合,このパラメーターの指定は無視されますが,パラメーターの形式チェックは実施されます。

このパラメーターは,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル

(3) stream.freeInputQueueSizeThreshold=入力ストリームキューの最大サイズに対する空きサイズのしきい値

入力ストリームキューで使用する要素数の上限値(システムコンフィグプロパティファイルのengine.maxQueueSizeパラメーターの指定値)に対する空きサイズのしきい値(単位:%)を1〜99の整数で指定します。

次に示す条件を満たした場合に,put(StreamTuple tuple)メソッドまたはput(ArrayList<StreamTuple> tuple_list)メソッドからSDPClientFreeInputQueueSizeThresholdOverExceptionの例外がスローされます。このとき,入力ストリームキューへのタプルの投入は,成功しています。

このパラメーターの指定値 ≧((入力ストリームキューの空きサイズ÷入力ストリームキューの最大サイズ)×100)

このパラメーターを省略した場合は,しきい値のチェックによる例外は発生しません。

sdptplputコマンドで入力ストリームキューにタプルを投入する場合,このパラメーターの指定は無効となります。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(4) stream.freeInputQueueSizeThresholdOutputMessage={true|false}

SDPサーバのメッセージログに,警告メッセージ(メッセージKFSP42032-W)を出力するかどうかをtrueまたはfalseで指定します。大文字,小文字の区別はされません。

true
警告メッセージを出力します。
false
警告メッセージを出力しません。

このパラメーターの指定は,stream.freeInputQueueSizeThresholdパラメーターが指定された場合だけ有効です。

なお,警告メッセージが出力されるのは,このパラメーターでtrueを指定し,次の条件を満たした場合です。

stream.freeInputQueueSizeThresholdパラメーターの指定値 ≧((入力ストリームキューの空きサイズ÷入力ストリームキューの最大サイズ)×100)

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(5) stream.maxKeepTupleCount=タイムスタンプ調整機能で保留できるタプル数の上限値

タイムスタンプ調整機能で保留できるタプル数の上限値を1〜1048576の整数で指定します。

このパラメーターで指定したタプル数の上限値は,個々の入力ストリームのタイムスタンプ調整機能に対する上限値となります。

タプル数がこのパラメーターで指定した上限値を超えると,クエリグループが閉塞されます。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(6) stream.streamName=ストリームの名称

このプロパティファイルの定義内容を適用するストリームの名称を指定します。

指定したストリームの名称は,すべて大文字として扱われます。このパラメーターの指定がない場合は,エラーになります。

(7) stream.timestampAccuracy={{sec|msec|usec},時刻調整範囲|unuse}

タイムスタンプ調整機能の時刻単位と時刻調整範囲を指定します。大文字,小文字の区別はされません。

{sec|msec|usec},時刻調整範囲
時刻単位と時刻調整範囲を指定します。時刻単位(sec,msec,またはusec)と時刻調整範囲を区切る半角コンマ(,)の前後には,空白やタブなどを記述しないでください。記述した場合はエラーとなります。時刻単位にsec,msec,またはusecのどれかを指定し,時刻調整範囲に0を指定した場合は基準時刻だけが時刻調整範囲となります。
それぞれの値の意味を次に示します。
sec
時刻単位として秒を使用することを指定します。
msec
時刻単位としてミリ秒を使用することを指定します。
usec
時刻単位としてマイクロ秒を使用することを指定します。
時刻調整範囲
タイムスタンプ調整での時刻の調整範囲を整数で指定します。時刻単位に指定した単位によって指定範囲が異なります。時刻単位ごとの指定範囲を次の表に示します。
時刻単位 指定範囲
sec(秒) 0〜59の整数
msec(ミリ秒) 0〜999の整数
usec(マイクロ秒) 0〜999の整数
unuse
時刻調整を行いません。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(8) stream.timestampPosition=時刻データ列名

タプル内の時刻データ列名を指定します。大文字,小文字の区別はされません。

時刻データとして指定できるデータ型は,TIMESTAMP型だけです。

時刻データの範囲は,GMT(グリニッジ標準時)の1970/01/01 00:00:00.000000000から2261/12/31 23:59:59.999999999までになります。それ以外の時刻を指定した場合は,ストリームデータ送信時に例外が発生します。日本標準時はGMTより9時間あとであることに注意してください。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(9) tpl.backupFileCount=タプルログファイルのバックアップを残す最大世代数

タプルログファイルのバックアップを残す最大世代数を0〜10の整数で指定します。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(10) tpl.bufferCount=タプルログのバッファーの面数

タプルログのバッファーの面数を3〜512の整数で指定します。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(11) tpl.bufferSize=タプルログのバッファーの最大サイズ

タプルログのバッファーの最大サイズ(単位:キロバイト)を1〜2048000の整数で指定します。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(12) tpl.fileCount=タプルログファイルの最大ファイル数

タプルログファイルの最大ファイル数を3〜512の整数で指定します。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(13) tpl.fileSize=タプルログファイルの最大サイズ

タプルログファイルの最大サイズ(単位:メガバイト)を1〜2048の整数で指定します。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(14) tpl.outputLevel=タプルログの出力レベル

タプルログの出力レベルを1〜3の整数で指定します。

1
ストリームキューへ格納するタプルについて,タプルログを出力します。
2
時刻の逆転によって破棄するタプルについて,タプルログを出力します。
3
レベル1とレベル2のタプルについて,タプルログを出力します。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(15) tpl.outputTrigger={BUFFER|NONE}

タプルログのファイルへの出力契機をBUFFERまたはNONEで指定します。大文字,小文字の区別はされません。

BUFFER
対象のストリームキューで現在のタプルログを取得しているバッファーがいっぱいになったら,タプルログをファイルへ出力します。
NONE
タプルログをファイルに出力しません。バッファリングもしません。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の優先順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル

(16) tpl.useOverwrite={true|false}

タプルログのバッファーの枯渇時にバッファーを上書きするかどうかをtrueまたはfalseで指定します。大文字,小文字の区別はされません。

true
タプルログのバッファーを上書きします。
false
タプルログのバッファーを上書きしません。

このパラメーターは,システムコンフィグプロパティファイル,クエリグループ用プロパティファイル,およびストリーム用プロパティファイルで指定できます。指定が重複した場合,または指定を省略した場合,次の順位で指定値が有効になります(1.>2.>3.)。

  1. ストリーム用プロパティファイル
  2. クエリグループ用プロパティファイル
  3. システムコンフィグプロパティファイル