Hitachi

uCosminexus Grid Processing Server 使用の手引


5.7.1 Hadoopと連携する場合の環境設定

〈この項の構成〉

(1) 言語種別の設定

言語種別をLANG環境変数で設定します。日本語UTF-8(例:LANG=ja_JP.UTF-8)の設定で使用することをお勧めします。

言語種別に対するLANG環境変数の設定値を次の表に示します。

言語種別

指定値

日本語UTF-8

ja_JP.UTF-8

英語

C

(2) 環境変数の設定

Hadoopで使用する環境変数と設定例を次の表に示します。この表を参考に,必要に応じて環境変数を設定してください。

表5‒10 Hadoopで使用する環境変数と設定例

環境変数

設定の要否

設定例

HADOOP_HOME(Hadoopホームパス)

次の機能を使用する場合だけ設定します。

  • Hadoop管理コンソール画面表示機能

<Hadoopのインストールディレクトリパス>/opt/hadoop-1.0.4

JAVA_HOME(javaホームパス)

次の機能を使用する場合だけ設定します。

  • Hadoop管理コンソール画面表示機能

<javaのインストールディレクトリパス>/usr/java/jdk1.6.0_35

LD_LIBRARY_PATH(共有ライブラリパス)

<共有ライブラリパス>${HADOOP_HOME}/c++/Linux-amd64-64/lib

${JAVA_HOME}/jre/lib/amd64/server

CLASSPATH(クラスパス)

次の機能を使用する場合だけ設定します。

  • ジョブ情報表示機能

  • Hadoop管理コンソール画面表示機能

<HDFSアクセス用クラスパス>

${HADOOP_HOME}/conf

${HADOOP_HOME}/hadoop-core-1.0.4.jar

${HADOOP_HOME}/lib/commons-configuration-1.6.jar

${HADOOP_HOME}/lib/commons-lang-2.4.jar

${HADOOP_HOME}/lib/commons-logging-1.1.1.jar

Multiple jobクライアントで使用する環境変数を次の表に示します。Multiple jobクライアントで使用する環境変数の設定方法については,7章の「[Hadoopバッチジョブ定義]ダイアログボックス」を参照してください。

表5‒11 Multiple jobクライアントで使用する環境変数

環境変数名

設定の要否

設定する内容

MJ_KWFILE

任意

例外検知キーワードファイルのファイルパス名

MJ_CONFFILE

Multiple jobクライアントのmj.conf設定ファイルパス(デバッグモードでコンパイルしたときだけ有効)

(凡例)−:該当しません。

(3) Multiple jobクライアントの設定

uGPS - Managerをインストールすると,Multiple jobクライアントの動作に必要なディレクトリが生成されます。ディレクトリが作成されたあと,Multiple jobクライアントのmj.conf設定ファイル(/opt/hitachi/ugpsm/conf/mj.conf)を設定します。mj.conf設定ファイルの設定内容については,「5.7.2 Multiple jobクライアントのmj.conf設定ファイル」を参照してください。

表5‒12 生成されるMultiple jobクライアントの動作に必要なディレクトリと内容

ディレクトリ

内容

パーミッション

/opt/hitachi

日立PP用のディレクトリ

755

/opt/hitachi/ugpsm

Multiple jobクライアントのディレクトリ

755

/opt/hitachi/ugpsm/bin

Multiple jobクライアントの,実行形式ファイルの格納ディレクトリ

755

/opt/hitachi/ugpsm/lib

Multiple jobクライアントのライブラリディレクトリ

755

/opt/hitachi/ugpsm/conf

Multiple jobクライアントのmj.conf設定ファイルディレクトリ

755

/opt/hitachi/ugpsm/samples

Multiple jobサンプルファイルディレクトリ

755

/opt/hitachi/ugpsm/jsp

Hadoopのマスターノードで動作するjspファイルとコピーシェルの格納ディレクトリ

755

/opt/hitachi/ugpsm/mjlog

LOG_DIRパラメータのデフォルトディレクトリ

777

(4) ビューホストの設定(Windows)

Hadoopと連携する場合,ビューホストに対して次の表に示す環境設定が必要です。

利用するHadoop連携機能

必要な環境設定

カスタムジョブとして実行する

  • 初期設定

  • Hadoopバッチジョブ定義

Hadoop管理コンソール画面表示機能

Hadoopとの通信設定

以降,それぞれの環境設定方法について説明します。

初期設定

Multiple jobクライアントからHadoopジョブを実行する場合に,JP1/AJS3環境でカスタムジョブとして実行するための設定をします。初期設定で必要な作業は,次の2つです。

  • カスタムジョブ拡張設定ファイルの組み込み

  • カスタムジョブの登録

カスタムジョブ拡張設定ファイルは,[初期設定]ダイアログボックスでJP1/AJS3 - ViewとuGPS - Viewのインストール先を設定することで組み込みまれます。[初期設定]ダイアログボックスでの設定方法については,「4.3.1 初期設定(ビューホスト)」を参照してください。

カスタムジョブの登録では,[カスタムジョブ登録情報]ダイアログボックスを使用します。カスタムジョブの登録方法については,「4.3.2 カスタムジョブの登録(ビューホスト)」を参照してください。

Hadoopバッチジョブ定義

Hadoopバッチジョブ定義には,[Hadoopバッチジョブ定義]ダイアログボックスを使用します。

Hadoopバッチジョブ定義の手順を次に示します。

  1. JP1/AJS3 - Viewの[ジョブネットエディタ]ウィンドウで,[詳細定義]−[詳細情報の設定]を選択する。

    [Hadoopバッチジョブ定義]ダイアログボックスが表示されます。[ジョブネットエディタ]ウィンドウの表示方法については,「6.2.1 GUIによる定義」を参照してください。

  2. ダイアログボックスの項目に,パラメータや例外検知キーワードファイル名などの必要な情報を入力する。

    [Hadoopバッチジョブ定義]ダイアログボックスの表示項目と指定する内容については,7章の「[Hadoopバッチジョブ定義]ダイアログボックス」を参照してください。

  3. [OK]ボタンをクリックする。

    [Hadoopバッチジョブ定義]ダイアログボックスが閉じます。

Hadoopとの通信設定

Hadoopと連携するために,通信環境を設定します。

通信設定の手順を次に示します。

  1. Windowsの[スタート]メニューから,[プログラム]−[uCosminexus Grid Processing Server - View]−[Hadoop通信設定]を選択する。

    [Hadoop通信設定]ダイアログボックスが表示されます。

  2. [HadoopジョブID一覧画面のURL]を入力する。

    HadoopジョブID一覧画面のURLを指定します。デフォルトでは,http://host:50075/hitachijoblist.jsp?JT=50030&NN=50070が指定されています。

  3. [OK]ボタンをクリックする。

    [Hadoop通信設定]ダイアログボックスが閉じます。