Hitachi

uCosminexus Grid Processing Server 使用の手引


2.3.15 単体グリッドジョブ実行時のサブジョブ自動分散

単体グリッドジョブを実行する際,uGPS - Viewから入出力ファイルや分割数を指定するだけで,自動的にサブジョブを分割して並列実行できます。この機能を利用すると,データを分割するための前処理プログラムやデータをマージするための後処理プログラムを作成することなく,例えば,売り上げデータから合計データを出力するなどの処理を実行できます。

単体グリッドジョブ実行時のサブジョブ自動分散の概要を次の図に示します。

図2‒32 単体グリッドジョブ実行時のサブジョブ自動分散の概要

[図データ]

デフォルトで提供している分割処理を実行するスクリプトファイルは,目的に応じてカスタマイズして使用することもできます。自動分散の詳細については,「付録A 自動分散で使用するスクリプトのカスタマイズ」を参照してください。

〈この項の構成〉

(1) 自動分散を適用するグリッドジョブの条件

自動分散を適用するグリッドジョブは,次の表に示す条件を満たす必要があります。

表2‒28 自動分散を適用できるグリッドジョブの条件

分類

条件

入力ファイル

  • グリッドジョブ管理ホストから参照できる場所に格納されている

  • 分割した入力ファイルが,グリッドジョブ管理ホストおよび実行ノードから参照/更新できる共用領域に格納されている

  • ファイル種別が,テキストファイルまたはCSVファイルである

  • 改行文字はLF(0x0A)またはCRLF(0x0D0A)である

  • ヘッダやフッタを含まない

サブジョブ(UAP)

  • 引数や環境変数などで,入力ファイルを外から指定できる

  • 分割数指定で分割された入力ファイルを使用して並列処理できる

  • データをマージしないでファイルを出力する場合,並列処理でファイル破損が起きないよう,ファイル名を変更するなどの対応が可能である

出力ファイル

データをマージする場合,出力ファイルが次の条件をすべて満たしていること

  • 指定したすべての実行ノードおよびグリッドジョブ管理ホストから,参照/更新できる領域に格納されている

  • ファイル種別が,テキストファイルまたはCSVファイルである

  • 改行文字はLF(0x0A)またはCRLF(0x0D0A)である

  • ヘッダやフッタを含まない

  • 1回のサブジョブ(UAP)実行で出力されるのは1ファイルである