5.7.1 Hadoopと連携する場合の環境設定
(1) 言語種別の設定
言語種別をLANG環境変数で設定します。日本語UTF-8(例:LANG=ja_JP.UTF-8)の設定で使用することをお勧めします。
言語種別に対するLANG環境変数の設定値を次の表に示します。
言語種別 |
指定値 |
---|---|
日本語UTF-8 |
ja_JP.UTF-8 |
英語 |
C |
(2) 環境変数の設定
Hadoopで使用する環境変数と設定例を次の表に示します。この表を参考に,必要に応じて環境変数を設定してください。
環境変数 |
設定の要否 |
設定例 |
---|---|---|
HADOOP_HOME(Hadoopホームパス) |
次の機能を使用する場合だけ設定します。
|
<Hadoopのインストールディレクトリパス>/opt/hadoop-1.0.4 |
JAVA_HOME(javaホームパス) |
次の機能を使用する場合だけ設定します。
|
<javaのインストールディレクトリパス>/usr/java/jdk1.6.0_35 |
LD_LIBRARY_PATH(共有ライブラリパス) |
要 |
<共有ライブラリパス>${HADOOP_HOME}/c++/Linux-amd64-64/lib ${JAVA_HOME}/jre/lib/amd64/server |
CLASSPATH(クラスパス) |
次の機能を使用する場合だけ設定します。
|
<HDFSアクセス用クラスパス> ${HADOOP_HOME}/conf ${HADOOP_HOME}/hadoop-core-1.0.4.jar ${HADOOP_HOME}/lib/commons-configuration-1.6.jar ${HADOOP_HOME}/lib/commons-lang-2.4.jar ${HADOOP_HOME}/lib/commons-logging-1.1.1.jar |
Multiple jobクライアントで使用する環境変数を次の表に示します。Multiple jobクライアントで使用する環境変数の設定方法については,7章の「[Hadoopバッチジョブ定義]ダイアログボックス」を参照してください。
環境変数名 |
設定の要否 |
設定する内容 |
---|---|---|
MJ_KWFILE |
任意 |
例外検知キーワードファイルのファイルパス名 |
MJ_CONFFILE |
− |
Multiple jobクライアントのmj.conf設定ファイルパス(デバッグモードでコンパイルしたときだけ有効) |
(凡例)−:該当しません。
(3) Multiple jobクライアントの設定
uGPS - Managerをインストールすると,Multiple jobクライアントの動作に必要なディレクトリが生成されます。ディレクトリが作成されたあと,Multiple jobクライアントのmj.conf設定ファイル(/opt/hitachi/ugpsm/conf/mj.conf)を設定します。mj.conf設定ファイルの設定内容については,「5.7.2 Multiple jobクライアントのmj.conf設定ファイル」を参照してください。
ディレクトリ |
内容 |
パーミッション |
---|---|---|
/opt/hitachi |
日立PP用のディレクトリ |
755 |
/opt/hitachi/ugpsm |
Multiple jobクライアントのディレクトリ |
755 |
/opt/hitachi/ugpsm/bin |
Multiple jobクライアントの,実行形式ファイルの格納ディレクトリ |
755 |
/opt/hitachi/ugpsm/lib |
Multiple jobクライアントのライブラリディレクトリ |
755 |
/opt/hitachi/ugpsm/conf |
Multiple jobクライアントのmj.conf設定ファイルディレクトリ |
755 |
/opt/hitachi/ugpsm/samples |
Multiple jobサンプルファイルディレクトリ |
755 |
/opt/hitachi/ugpsm/jsp |
Hadoopのマスターノードで動作するjspファイルとコピーシェルの格納ディレクトリ |
755 |
/opt/hitachi/ugpsm/mjlog |
LOG_DIRパラメータのデフォルトディレクトリ |
777 |
(4) ビューホストの設定(Windows)
Hadoopと連携する場合,ビューホストに対して次の表に示す環境設定が必要です。
利用するHadoop連携機能 |
必要な環境設定 |
---|---|
カスタムジョブとして実行する |
|
Hadoop管理コンソール画面表示機能 |
Hadoopとの通信設定 |
以降,それぞれの環境設定方法について説明します。
- 初期設定
-
Multiple jobクライアントからHadoopジョブを実行する場合に,JP1/AJS3環境でカスタムジョブとして実行するための設定をします。初期設定で必要な作業は,次の2つです。
-
カスタムジョブ拡張設定ファイルの組み込み
-
カスタムジョブの登録
カスタムジョブ拡張設定ファイルは,[初期設定]ダイアログボックスでJP1/AJS3 - ViewとuGPS - Viewのインストール先を設定することで組み込みまれます。[初期設定]ダイアログボックスでの設定方法については,「4.3.1 初期設定(ビューホスト)」を参照してください。
カスタムジョブの登録では,[カスタムジョブ登録情報]ダイアログボックスを使用します。カスタムジョブの登録方法については,「4.3.2 カスタムジョブの登録(ビューホスト)」を参照してください。
-
- Hadoopバッチジョブ定義
-
Hadoopバッチジョブ定義には,[Hadoopバッチジョブ定義]ダイアログボックスを使用します。
Hadoopバッチジョブ定義の手順を次に示します。
-
JP1/AJS3 - Viewの[ジョブネットエディタ]ウィンドウで,[詳細定義]−[詳細情報の設定]を選択する。
[Hadoopバッチジョブ定義]ダイアログボックスが表示されます。[ジョブネットエディタ]ウィンドウの表示方法については,「6.2.1 GUIによる定義」を参照してください。
-
ダイアログボックスの項目に,パラメータや例外検知キーワードファイル名などの必要な情報を入力する。
[Hadoopバッチジョブ定義]ダイアログボックスの表示項目と指定する内容については,7章の「[Hadoopバッチジョブ定義]ダイアログボックス」を参照してください。
-
[OK]ボタンをクリックする。
[Hadoopバッチジョブ定義]ダイアログボックスが閉じます。
-
- Hadoopとの通信設定
-
Hadoopと連携するために,通信環境を設定します。
通信設定の手順を次に示します。
-
Windowsの[スタート]メニューから,[プログラム]−[uCosminexus Grid Processing Server - View]−[Hadoop通信設定]を選択する。
[Hadoop通信設定]ダイアログボックスが表示されます。
-
[HadoopジョブID一覧画面のURL]を入力する。
HadoopジョブID一覧画面のURLを指定します。デフォルトでは,http://host:50075/hitachijoblist.jsp?JT=50030&NN=50070が指定されています。
-
[OK]ボタンをクリックする。
[Hadoop通信設定]ダイアログボックスが閉じます。
-