Hitachi

uCosminexus Grid Processing Server 使用の手引


付録H 用語解説

(英字)

CUP

バッチジョブ分散実行システムが提供するクライアント専用のプログラムのことです。

Hadoop

大規模データを効率的に分散処理・管理するためのソフトウェア基盤のことです。分散ファイルシステム(HDFS)と分散処理フレームワーク(MapReduce)から構成され,オープンソースソフトウェア(OSS)として公開されています。

Hadoopジョブ

Multiple jobクライアントを起動してHadoopで実行するジョブのことです。

Hadoopバッチジョブ

JP1/AJS3環境でカスタムジョブとして登録したHadoopジョブのことです。

JP1/AJS3

業務を自動的に運用するJP1シリーズのプログラムです。処理を順序づけて定期的に実行したり,特定の事象が発生したときに処理を開始したりできます。

JP1/AJS3環境変数

JP1/AJS3から実行されるジョブ実行時に設定される環境変数のことです。

JP1ジョブ番号

JP1のジョブ番号のことです。

MapReduce

大規模データを並列分散処理するためのフレームワークのことです。Map処理とReduce処理を制御し,分散・並列実行します。

Multiple job

JP1/AJS3からの強制終了および例外発生などのHadoopジョブ異常時に,Hadoopジョブを即時に強制終了するためのプログラムのことです。

Multiple jobクライアント

Multiple jobの提供するコンポーネントです。Hadoopのジョブクライアントに対し,Hadoopジョブ実行およびHadoopジョブの強制終了を依頼するクライアントプログラムのことです。

RPC

プログラムからほかのプログラムへサービスを要求し,サービスを要求されたプログラムが要求元のプログラムへ処理結果を返す通信のことです。

SPP

uGPS - Managerが提供するモジュールのうち,ファイルへのアクセスなどサーバの役割をするプログラムです。SPPは,クライアントから要求されたサービスを実行するサービス関数と,サービス関数をまとめるメイン関数から構成されます。

UAP

ユーザが作成するプログラムのことです。次に示すようなプログラムがあります。

  • グリッドジョブ前処理プログラム

  • グリッドジョブ後処理プログラム

  • 業務プログラム(サブジョブ実行プログラム)

(ア行)

一括処理数

ジョブ実行の多重度を制御するときのチューニング要素の1つで,ジョブマネージャから実行ノードへサブジョブを要求する際に,1回で要求するサブジョブの数のことです。

(カ行)

業務プログラム同時実行数

ジョブ実行の多重度を制御するときのチューニング要素の1つで,実行ノードでグリッドジョブごとに同時に実行するサブジョブ数のことです。

グリッド開始ジョブ

グリッドジョブ前処理プログラムを実行し,実行ノードにデータを分割配置するジョブのことです。グリッドジョブネットの起点となります。グリッド開始ジョブを実行すると,グリッドプロパティが作成されます。

グリッドクライアント

JP1/AJS3 - Agentから起動される次に示すコマンドのことで,ジョブマネージャにジョブの分散を依頼するコンポーネントのことです。

  • グリッド開始ジョブの実行要求(グリッド開始コマンド)

  • グリッド実行ジョブの実行要求(グリッド実行コマンド)

  • グリッド終了ジョブの実行要求(グリッド終了コマンド)

グリッド実行ジョブ

各ノードで実行するジョブ(サブジョブ)の集合のことです。

グリッド終了ジョブ

グリッド開始ジョブで作成したグリッドプロパティを解放するためのジョブのことです。

グリッドジョブ

複数のシステムにサブジョブとして分割し実行するジョブと,その準備などを行うジョブのことです。グリッド開始ジョブ,グリッド実行ジョブ,およびグリッド終了ジョブから構成されます。

グリッドジョブ後処理プログラム

グリッドジョブの後処理として,グリッドジョブの実行結果のマージや,分散キャッシュ内のデータのデステージング(削除)などを実行するUAPのことです。

グリッドジョブ管理ホスト

ジョブマネージャが起動されているホストのことです。

グリッドジョブ識別子

グリッドジョブに通しで付けられる識別子のことです。

グリッドジョブネット

グリッド開始ジョブと,単数または複数のグリッド実行ジョブや非グリッドジョブと,必要に応じてグリッド終了ジョブを含む,関連の業務が定義されたジョブネットのことです。

グリッドジョブ前処理プログラム

グリッドジョブの前処理として,バッチジョブ分散実行システムへ渡すデータ配置情報の出力や,処理対象データの分割などを実行するUAPのことです。

グリッドビュー

JP1/AJS3 - Viewと連携して,グリッドジョブの定義,状態表示,再実行などをGUIで行うためのコンポーネントのことです。

グリッドプロパティ

グリッドジョブ前処理プログラムで作成したデータ配置情報およびグリッドジョブの実行結果などを管理し,同一のデータ配置情報を使用するグリッドジョブ間でのデータ引き継ぎなどに使用する管理情報のことです。

グリッドプロパティは,グリッド開始ジョブの実行後に作成され,グリッド終了ジョブの実行後に解放されます。

グリッドプロパティ管理ホスト

データマネージャが起動されているホストのことです。

コマンド

バッチジョブ分散実行システムが提供する,JP1/AJS3経由やユーザから直接実行されるプログラムのことです。プログラムにはバイナリの実行形式のほかに,スクリプトファイルも含まれます。

(サ行)

サーバ

uGPS - Managerでサービスを提供するプロセスのことです。

サービスグループ

uGPS - Managerが提供するモジュールのことで,クライアントからの手続き要求を処理するサービスの集合のことです。

サブジョブ

グリッド実行ジョブを分割したものです。

サブジョブ識別子

サブジョブを識別するための識別子のことです。

サブジョブ実行プログラム

サブジョブから起動される業務プログラム(UAP)のことです。

識別子

データやサブジョブを一意に認識するために付ける,先頭がアルファベットの英数字列のことです。

システムサーバ

ホストの種別(管理ホストおよび実行ノード)に関係なく,各ホスト上で必ず動作するサーバのことです。

実行ノード

ノードマネージャが起動されているノードのことです。サブジョブは,実行ノードに分散されて実行されます。

ジョブ

1つのプログラムとそれが処理するデータ群を一まとめにして,1つの処理を行うことです。

ジョブネット

JP1/AJS3で,実行順序を関連づけたジョブの集まりです。ジョブネットを実行すると,ジョブネット中のジョブが実行順序に従って自動的に実行されます。

ジョブマネージャ

グリッドクライアントから要求されたジョブを制御するコンポーネントのことです。ジョブの実行を受け付けるジョブマネージャSPP,およびジョブマネージャデーモンから構成されます。

スケジュールサービス

RPCのスケジュールを管理するシステムサーバのことです。

(タ行)

単体グリッドジョブ

1つのジョブにグリッド開始ジョブ,グリッド実行ジョブ,およびグリッド終了ジョブをまとめて定義したグリッドジョブです。JP1/AJS3の標準ジョブから,容易に移行できます。

データ識別子

データを識別するために,データ群(一定数のレコードまたは1つのファイル)ごとに割り振る識別子のことです。

データ配置情報

データ識別子とデータを参照・更新する実行ノードとを対応づける情報です。

グリッドジョブ前処理プログラムの出力情報です。バッチジョブ分散実行システムは,この情報を基にして,データ識別子に対応するサブジョブを指定された実行ノードで実行します。

データ配置情報ファイル

データ配置情報を記述したファイルのことです。データ配置情報の形式に従って記述されている必要があります。

データマネージャ

グリッドプロパティ情報などのデータを管理するコンポーネントのことです。

デーモン

UNIX環境下で,親プロセスの番号が1(init)で制御端末を持たないプロセスのことです。バックグラウンドで動作します。

同期応答型RPC

サービスを要求してから,応答が返ってくるのを待つRPCのことです。応答が返るまでの待ち時間を監視します。

同時実行グリッドジョブ数

ジョブ実行の多重度を制御するときのチューニング要素の1つで,バッチジョブ分散実行システム全体(管理ホスト側)で,同時に実行するグリッドジョブの数のことです。

(ナ行)

ネームサービス

プログラム間の通信(リモートプロシジャコール)を実現するために,LANのネットワークアドレスとユーザサーバの対応を管理するシステムサーバのことです。

ノード

バッチジョブ分散実行システムでは,コンピュータシステムが複数あるノードマネージャをノードと呼びます。

ノード内グリッドジョブ実行数

ジョブ実行の多重度を制御するときのチューニング要素の1つで,実行ノードで同時に処理するグリッドジョブの数のことです。ノードマネージャのプロセス数に相当し,ジョブマネージャからの実行要求を,同時に幾つ受け取るかを制御する数です。

ノード内総同時実行サブジョブ数

ジョブ実行の多重度を制御するときのチューニング要素の1つで,実行ノードで同一グリッドジョブかどうかに関係なく同時に実行するサブジョブ数のことです。

ノードマネージャ

ジョブマネージャから要求されたサブジョブを制御するコンポーネントのことです。ノードマネージャSPP,ノードマネージャデーモン,およびデータマネージャGWから構成されます。

(ハ行)

非応答型RPC

サービス要求の処理結果が戻らないRPCのことです。非応答型RPCでサービス要求をした場合,応答は受け取れませんが,サービスの要求元は処理を続行します。

非同期応答型RPC

サービスを要求してから,応答が返ってくるのを待たないで,処理を続けるRPCのことです。処理続行後に特定の契機で応答を受信します。

ホスト

バッチジョブ分散実行システムでは,次のどちらかの条件に当てはまるコンピュータシステムをホストと呼びます。

  • JP1/AJS3が動作していること。

  • 1つ(または交代用に複数)の管理系のSPPが起動していること。

また,バッチジョブ分散実行システムのホストには「管理ホスト」と「実行ノード」の2種類がありますが,1つのホストに「管理ホスト」と「実行ノード」の両方の役割を担わせることもできます。

(ヤ行)

ユーザサーバ

uGPS - Managerで提供する次に示すモジュールのことです。( )はユーザサーバ名です。

ジョブマネージャSPP(UGPSMjbm)

ノードマネージャSPP(UGPSMndm)

データマネージャSPP(UGPSMdtm)

データマネージャGW(UGPSMdtg)