ストリームデータ処理基盤 uCosminexus Stream Data Platform - Application Framework システム構築・運用ガイド

[目次][索引][前へ][次へ]

2.7.2 標準提供アダプターに関するメモリ使用量の見積もり

ここでは,標準提供アダプターに関するメモリ使用量の見積もり方法について説明します。

標準提供アダプターに関するメモリ使用量は,SDPサーバ用定義ファイルのSDPサーバ用JavaVMオプションファイル(jvm_options.cfg),またはRMI連携用JavaVMオプションファイル(jvm_client_options.cfg)の次の表に示すパラメーターで指定します。

表2-9 標準提供アダプターに関するメモリ使用量を指定するパラメーター(SDPサーバ用JavaVMオプションファイル(jvm_options.cfg))

項番 パラメーター 説明
1 SDP_INITIAL_MEM_SIZE Javaヒープの初期サイズを設定します。デフォルト値は,512メガバイトです。
2 SDP_MAX_MEM_SIZE Javaヒープの最大サイズを設定します。デフォルト値は,1,024メガバイトです。

表2-10 標準提供アダプターに関するメモリ使用量を指定するパラメーター(RMI連携用JavaVMオプションファイル(jvm_client_options.cfg))

項番 パラメーター 説明
1 SDP_INITIAL_MEM_SIZE Javaヒープの初期サイズを設定します。デフォルト値は,256メガバイトです。
2 SDP_MAX_MEM_SIZE Javaヒープの最大サイズを設定します。デフォルト値は,512メガバイトです。

デフォルト値ではメモリ使用量が不足する場合には,各パラメーターの値を変更してください。標準提供アダプターの実行には,「2.7.1 ストリームデータ処理エンジンに関するメモリ使用量の見積もり」で見積もったメモリ使用量に加えて,以降で説明する標準提供アダプターに関するメモリ使用量が固定で必要となります。ガーベージコレクションの発生を低減させるため,ここで計算した値を基に,各パラメーターに余裕のある値を指定してください。

各ファイルのパラメーターについては,「8.4 SDPサーバ用JavaVMオプションファイル(jvm_options.cfg)」,または「8.5 RMI連携用JavaVMオプションファイル(jvm_client_options.cfg)」を参照してください。

標準提供アダプターに関するメモリ使用量について,項目ごとに説明します。

<この項の構成>
(1) アダプターの実行に必要なメモリ使用量
(2) インプロセスグループで構成するアダプター一つ当たりに必要なメモリ使用量
(3) RMIグループで構成するアダプター一つ当たりに必要なメモリ使用量
(4) レコードの処理に必要なメモリ使用量(ファイル入力コネクターを使用する場合)
(5) レコードの処理に必要なメモリ使用量(HTTPパケット入力コネクターを使用する場合)
(6) レコードの処理に必要なメモリ使用量(ファイル出力コネクターまたはダッシュボード出力コネクターを使用する場合)
(7) レコードの蓄積に必要なメモリ使用量(レコード抽出またはダッシュボード出力コネクターを使用する場合)

(1) アダプターの実行に必要なメモリ使用量

アダプターの実行に必要なメモリ使用量は,5メガバイト(固定値)です。

(2) インプロセスグループで構成するアダプター一つ当たりに必要なメモリ使用量

インプロセスグループで構成するアダプター一つ当たりに必要なメモリ使用量は,10メガバイト(固定値)です。

(3) RMIグループで構成するアダプター一つ当たりに必要なメモリ使用量

RMIグループで構成するアダプター一つ当たりに必要なメモリ使用量は,20メガバイト(固定値)です。

(4) レコードの処理に必要なメモリ使用量(ファイル入力コネクターを使用する場合)

ファイル入力コネクターを使用する場合,レコードの処理に必要なメモリ使用量は,次に示す計算式で求められます。

レコードの処理に必要なメモリ使用量(単位:バイト)=
   (1レコードの処理に必要なメモリ使用量×一度に処理するレコード数)
   +(A×一度に処理するレコード数)
(凡例)
A:「2.7.1(2) タプル一つ当たりに必要なメモリ使用量」で示したタプル一つ当たりのサイズです。
1レコードの処理に必要なメモリ使用量
計算式中の「1レコードの処理に必要なメモリ使用量」は,次に示す計算式で求められます。
1レコードの処理に必要なメモリ使用量(単位:バイト)=
   (500×フォーマット変換定義のフィールド定義の数)
   +(共通形式レコードの最大長)
注※
アダプター用定義ファイルのアダプター構成定義ファイルにある,フォーマット変換定義(FormatDefinitionタグ)のフィールド定義(fieldタグ)の数です。
一度に処理するレコード数
計算式中の「一度に処理するレコード数」は,次に示す計算式で求められます。
一度に処理するレコード数(単位:バイト)=
   ファイル入力コネクターが一度に読み込むレコード数
注※
アダプター用定義ファイルのアダプター構成定義ファイルにある,ファイル入力コネクター定義(FileInputConnectorDefinition)の読み込み定義(inputタグ)のreadUnit属性の値です。

アダプター構成定義ファイルの定義については,「9.5 アダプター構成定義ファイル(AdaptorCompositionDefinition.xml)」を参照してください。

(5) レコードの処理に必要なメモリ使用量(HTTPパケット入力コネクターを使用する場合)

HTTPパケット入力コネクターを使用する場合,レコードの処理に必要なメモリ使用量は,次に示す計算式で求められます。

レコードの処理に必要なメモリ使用量(単位:バイト)=
   (1レコードの処理に必要なメモリ使用量×一度に処理するレコード数)
   +(A×一度に処理するレコード数)
(凡例)
A:「2.7.1(2) タプル一つ当たりに必要なメモリ使用量」で示したタプル一つ当たりのサイズです。
1レコードの処理に必要なメモリ使用量
計算式中の「1レコードの処理に必要なメモリ使用量」は,次に示す計算式で求められます。
1レコードの処理に必要なメモリ使用量(単位:バイト)=
   (500×HTTPパケット入力コネクター定義のフィールド定義の数)
   +(共通形式レコードの最大長)
注※
アダプター用定義ファイルのアダプター構成定義ファイルにある,HTTPパケット入力コネクター定義(HttpPacketInputConnectorDefinitionタグ)のフィールド定義(fieldタグ)の数です。
一度に処理するレコード数
計算式中の「一度に処理するレコード数」は,次に示す計算式で求められます。
一度に処理するレコード数(単位:バイト)=
   HTTPパケット入力コネクターが一度に読み込むレコード数
注※
アダプター用定義ファイルのアダプター構成定義ファイルにある,HTTPパケット入力コネクター定義(HttpPacketInputConnectorDefinitionタグ)の出力定義(outputタグ)のunit属性の値です。

アダプター構成定義ファイルの定義については,「9.5 アダプター構成定義ファイル(AdaptorCompositionDefinition.xml)」を参照してください。

(6) レコードの処理に必要なメモリ使用量(ファイル出力コネクターまたはダッシュボード出力コネクターを使用する場合)

ファイル出力コネクターまたはダッシュボード出力コネクターを使用する場合,レコードの処理に必要なメモリ使用量は,次に示す計算式で求められます。

レコードの処理に必要なメモリ使用量(単位:バイト)=
   (1レコードの処理に必要なメモリ使用量×一度に処理するレコード数)
   +(A×一度に処理するレコード数)
(凡例)
A:「2.7.1(2) タプル一つ当たりに必要なメモリ使用量」で示したタプル一つ当たりのサイズです。
1レコードの処理に必要なメモリ使用量
計算式中の「1レコードの処理に必要なメモリ使用量」は,次に示す計算式で求められます。
1レコードの処理に必要なメモリ使用量(単位:バイト)=
   (500×マッピング定義のマッピング情報定義の数)
   +(共通形式レコードの最大長)
注※
アダプター用定義ファイルのアダプター構成定義ファイルにある,マッピング定義(MappingDefinitionタグ)のレコードとストリーム間のマッピング情報定義(mapタグ)の数です。
アダプター構成定義ファイルの定義については,「9.5 アダプター構成定義ファイル(AdaptorCompositionDefinition.xml)」を参照してください。
一度に処理するレコード数
計算式中の「一度に処理するレコード数」は,1,024(タプル受信の最大タプル取得数)です。

(7) レコードの蓄積に必要なメモリ使用量(レコード抽出またはダッシュボード出力コネクターを使用する場合)

レコード抽出またはダッシュボード出力コネクターを使用する場合,レコードの蓄積に必要なメモリ使用量は,次に示す計算式で求められます。

レコードの蓄積に必要なメモリ使用量(単位:バイト)=
   (1レコードの処理に必要なメモリ使用量×蓄積するレコード数)
1レコードの処理に必要なメモリ使用量
計算式中の「1レコードの処理に必要なメモリ使用量」は,使用するコネクターによって異なります。
蓄積するレコード数
計算式中の「蓄積するレコード数」は,レコード抽出を使用するか,ダッシュボード出力コネクターを使用するかによって異なります。
  • レコード抽出を使用する場合
    アダプター用定義ファイルのアダプター構成定義ファイルにある,レコード抽出定義(RecordExtractionDefinitionタグ)の抽出条件群の定義(extractionsタグ)のsize属性の値です。
  • ダッシュボード出力コネクターを使用する場合
    アダプター用定義ファイルのアダプター構成定義ファイルにある,ダッシュボード出力コネクター定義(DashboardOutputConnectorDefinitionタグ)のMaxNum属性の値です。
アダプター構成定義ファイルの定義については,「9.5 アダプター構成定義ファイル(AdaptorCompositionDefinition.xml)」を参照してください。