Hitachi

JP1 Version 13　JP1/Integrated Management 3 - Manager コマンド・定義ファイル・APIリファレンス

ログ監視共通定義ファイル（jpc_fluentd_common.conf）

〈このページの構成〉

形式

@include jpc_fluentd_common_wevt_rendered.conf（Windowsの場合のみ）
@include jpc_fluentd_common_list.conf
 
## [System Settings]
<system>
  log_level ログレベル
  format text
  time_format %Y-%m-%d %H:%M:%S %z
  workers workerの数
</system>
 
<worker 0>
## [Remote Write Settings]
  <filter jpc_ima_metrics.**>
    @type record_transformer
    enable_ruby true
    auto_typecast true
    renew_record true
    
    <record>
      labels ${record}
      samples ${[[time.utc.to_i*1000,1]]}
    </record>
  </filter>
 
  <match jpc_ima_metrics.**>
    @type http
    headers {"accept":"application/json"}
    content_type application/json
    json_array false
    endpoint 統合エージェント制御基盤のトレンドデータ書き込みAPI
    <buffer>
      flush_interval 60s
      disable_chunk_backup true
    </buffer>
  </match>
</worker>
 
<worker 1-workerのid>
## [Output Settings]
  <match {tail.*.jp1event,wevt.*.jp1event}>
    @type copy
    copy_mode no_copy
    <store>
      @type http
      endpoint 統合エージェント制御基盤のJP1イベント変換API
      headers {"accept":"application/json"}
      content_type application/json
      json_array true
      open_timeout 60
      read_timeout 60
      error_response_as_unrecoverable true
      retryable_response_codes [503]
      <buffer tag>
        @type file
        flush_interval フラッシュ間隔
        overflow_action バッファキューが一杯になった時のoutputプラグインの動作
        retry_wait リトライ間隔
        path ../data/fluentd/buffer
        timekey_wait 600
        timekey_use_utc false
        timekey_zone local timezone
        chunk_limit_size 32MB
        total_limit_size バッファサイズの上限
        chunk_full_threshold 0.95
        queued_chunks_limit_size 1
        compress text
        flush_at_shutdown false
        flush_mode default
        flush_thread_count 1
        flush_thread_interval 1.0
        flush_thread_burst_interval 1.0
        delayed_commit_timeout 60
        retry_forever true
        retry_type periodic
        retry_wait 10s
        disable_chunk_backup false
      </buffer>
    </store>
    <store>
      @type relabel
      @label @STDOUT
    </store>
  </match>
 
## [Private Settings]
  <match {tail.*.outputlog,wevt.*.outputlog}>
    @type relabel
    @label @STDOUT
  </match>
 
  <label @STDOUT>
    <match {tail.**,wevt.**}>
      @type stdout
      <format>
        @type out_file
        time_type string
        time_format %Y-%m-%d %H:%M:%S %z
        localtime true
        utc false
      </format>
    </match>
  </label>
</worker>

ページの先頭へ

ファイル

jpc_fluentd_common.conf

jpc_fluentd_common.conf.model（モデルファイル）

ページの先頭へ

格納先ディレクトリ

■統合エージェントホスト

Windowsの場合

  • 物理ホストのとき

    Agentパス\conf\

  • 論理ホストのとき

    共有フォルダ\jp1ima\conf\

Linuxの場合

  • 物理ホストのとき

    /opt/jp1ima/conf/

  • 論理ホストのとき

    共有ディレクトリ/jp1ima/conf/

ページの先頭へ

説明

HTTP POSTリクエスト機能やログ出力機能など，ログ監視機能で共通の動作を定義するためのファイルです。

先頭の文字が「#」である行は，コメントとして扱い，プログラムの動作には影響しません。

ページの先頭へ

文字コード

UTF-8（BOM無し）

ページの先頭へ

改行コード

Windowsの場合：CR+LF

Linuxの場合：LF

ページの先頭へ

定義の反映時期

Fluentdのサービスを再起動したときに，Fluentdの動作に反映します。

ページの先頭へ

記述内容

<worker>ディレクティブ

Fluentdが起動するworkerのidを引数に指定することで，指定したidのworkerでのみ，ディレクティブ内で指定したプラグインが動作します。

workerのid（オプション）

Fluentdが起動するworkerのidを指定します。<worker N-M>ディレクティブの引数として機能します。Nは常に1を指定します。Mに指定する値は，workerの数に指定した整数から1を引いた数を指定します。

[System Settings]セクション

ログ監視機能全体の動作に影響する設定を行います。

ログレベル（オプション）

Fluentdのログレベルを指定します。

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

指定できるログレベルを冗長性の昇順で次に示します。

  • fatal

  • error

  • warn

  • info

  • debug

  • trace

デフォルトは「info」です。Fluentdは，デフォルトでinfo，warn，error，およびfatalのログを出力します。

変更可

確認したいログのレベルに合わせて設定します。

info
workerの数（オプション）

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

Fluentdが起動するworkerの数を指定します。指定できる値は，1から31の整数です。

変更可

ログ監視共通定義ファイル，テキスト形式のログファイルの監視定義ファイル，Windowsイベントログの監視定義ファイル，ログメトリクス定義ファイルの合計数を指定します。

10
[Output Settings]セクション

ログ監視機能で監視したログデータを出力するための設定を行います。

統合エージェント制御基盤のJP1イベント変換API（オプション）

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

HTTPリクエストのエンドポイントを512バイト以内で指定します。HTTPSを使用する場合は，httpsプレフィックスを使用します。

＜設定例＞

# Use HTTP

endpoint http://example.com/api

# Use HTTPS. You can set additional HTTPS parameters like tls_xxx

endpoint https://example.com/api

このパラメーターは，プレースホルダーをサポートしているため，時間，タグ，およびレコードフィールドを埋め込むことができます。プレースホルダーが機能するには，<buffer>セクションも必要です。

＜設定例＞

endpoint http://example.com/api/${tag}-${key}

<buffer tag,key>

# buffer parameters

</buffer>

endpointには，メトリックとログデータの送信先を指定します。詳細については，マニュアル「JP1/Integrated Management 3 - Manager 導入・設計ガイド」の「3.15.3 JP1/IM - Agentによるログ監視機能」の「(9)HTTP POSTリクエスト機能（httpプラグイン）」を参照してください。

endpointに指定したURLが誤っている場合は，警告メッセージが出力され，メトリックやログデータが送信されません。そのため，ユーザーはFluentdの起動後，メトリックとログデータのPOST時のログに，警告が出ていないことを確認する必要があります。

設定必須

JP1イベントを発行するため，統合エージェント制御基盤のJP1イベント変換APIのURLを指定します。統合エージェント制御基盤のポート番号を変更している場合，設定変更が必要です。

http://統合エージェントホスト名:20726/ima/api/v1/proxy/service/imdd/im/api_system/v1/events/transform
フラッシュ間隔（オプション）

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

buffer内に保管したログデータを，統合エージェント制御基盤に送信する間隔を指定します。

指定できる値は，1s〜86,400sです。単位（s）は必須です。

指定なしも動作します。

可

送信間隔を変更します。

60s
バッファキューが一杯になった時のoutputプラグインの動作（オプション）

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

bufferキューが一杯になったときのoutputプラグインの動作を指定します。指定できる値を次に示します。

  • throw_exception

    Fluentdのログにエラーを出力します。監視対象のログファイルに新しくログが出力されてもバッファに追加しません。送信が成功するようになると，ログファイルに出力されているログはトラップされますが，ラップして消えてしまっている場合はロストします。

  • drop_oldest_chunk

    最も古いチャンクを削除して，新しく入ってきたチャンクを受け入れます。

可

bufferキューが一杯になったときのoutputプラグインの動作を指定します。

throw_exception
リトライ間隔（オプション）

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

送信失敗したチャンクのリトライ間隔を指定します。

指定できる値は，1s〜600sです。単位（s）は必須です。

このパラメーターに空白，または，不正な形式で値を指定した場合，リトライ間隔は，Winsows環境では2秒程度，Linux環境では0.02秒程度になります。

可

リトライ間隔を指定します。

10s
バッファサイズの上限（オプション）

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

bufferプラグインのインスタンスのサイズ制限を指定します。

指定できる値は32MB〜65536MBです。

保存されたバッファの合計サイズがこのしきい値に達すると，すべての追加操作はエラーで失敗し，データは失われます。

バッファは，JP1/IM - Agentをセットアップした環境のディスクの容量を使用します。バッファの合計サイズは，次の計算式で見積もりを行います。

「0.015MB × バッファリングするJP1イベントの件数」

可

bufferプラグインのインスタンスのサイズ制限を指定します。

4096MB
[Remote Write Settings]セクション

FluentdがJP1/IM - Managerのトレンドデータ管理DBにサンプルを送信するための設定を行います。

統合エージェント制御基盤のトレンドデータ書き込みAPI（オプション）

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

HTTPリクエストのエンドポイントを512バイト以内で指定します。HTTPSを使用する場合は，httpsプレフィックスを使用します。

＜設定例＞

# Use HTTP

endpoint http://example.com/api

# Use HTTPS. You can set additional HTTPS parameters like tls_xxx

endpoint https://example.com/api

このパラメーターは，プレースホルダーをサポートしているため，時間，タグ，およびレコードフィールドを埋め込むことができます。プレースホルダーが機能するには，<buffer>セクションも必要です。

＜設定例＞

endpoint http://example.com/api/${tag}-${key}

<buffer tag,key>

# buffer parameters

</buffer>

endpointには，メトリックとログデータの送信先を指定します。詳細については，マニュアル「JP1/Integrated Management 3 - Manager 導入・設計ガイド」の「3.15.3 JP1/IM - Agentによるログ監視機能」の「(9)HTTP POSTリクエスト機能（httpプラグイン）」を参照してください。

endpointに指定したURLが誤っている場合は，警告メッセージが出力され，メトリックやログデータが送信されません。そのため，ユーザーはFluentdの起動後，メトリックとログデータのPOST時のログに，警告が出ていないことを確認する必要があります。

設定必須

メトリックをJP1/IM - Managerに送信するため，統合エージェント制御基盤のトレンドデータ書き込みAPIのURLを指定します。統合エージェント制御基盤のポート番号を変更している場合，設定変更が必要です。

http://統合エージェントホスト名:20727/ima/api/v1/proxy/service/promscale/write
[Private Settings]セクション

編集不可です。

ページの先頭へ

定義例

## [System Settings]
<system>
  log_level info
  format text
  time_format %Y-%m-%d %H:%M:%S %z
  workers 10
</system>
 
<worker 0>
## [Remote Write Settings]
  <filter jpc_ima_metrics.**>
    @type record_transformer
    enable_ruby true
    auto_typecast true
    renew_record true
  
    <record>
      labels ${record}
      samples ${[[time.utc.to_i*1000,1]]}
    </record>
  </filter>
  <match jpc_ima_metrics.**>
    @type http
    headers {"accept":"application/json"}
    content_type application/json
    json_array false
    endpoint http://統合エージェントホスト名:20727/ima/api/v1/proxy/service/promscale/write
    <buffer>
      flush_interval 60s
      disable_chunk_backup true
    </buffer>
  </match>
</worker>
 
<worker 1-9>
## [Output Settings]
  <match {tail.*.jp1event,wevt.*.jp1event}>
    @type copy
    copy_mode no_copy
    <store>
      @type http
      endpoint http://統合エージェントホスト名:20726/ima/api/v1/proxy/service/imdd/im/api_system/v1/events/transform
      headers {"accept":"application/json"}
      content_type application/json
      json_array true
      open_timeout 60
      read_timeout 60
      error_response_as_unrecoverable true
      retryable_response_codes [503]
      <buffer tag>
        @type file
        flush_interval 5s
        overflow_action throw_exception
        retry_wait 10s
        path ../data/fluentd/buffer
        timekey_wait 600
        timekey_use_utc false
        timekey_zone local timezone
        chunk_limit_size 32MB
        total_limit_size 4096MB
        chunk_full_threshold 0.95
        queued_chunks_limit_size 1
        compress text
        flush_at_shutdown false
        flush_mode default
        flush_thread_count 1
        flush_thread_interval 1.0
        flush_thread_burst_interval 1.0
        delayed_commit_timeout 60
        retry_forever true
        retry_type periodic
        retry_wait 10s
        disable_chunk_backup false
      </buffer>
    </store>
    <store>
      @type relabel
      @label @STDOUT
    </store>
  </match>
 
## [Private Settings]
  <match {tail.*.outputlog,wevt.*.outputlog}>
    @type relabel
    @label @STDOUT
  </match>
 
  <label @STDOUT>
    <match {tail.**,wevt.**}>
      @type stdout
      <format>
        @type out_file
        time_type string
        time_format %Y-%m-%d %H:%M:%S %z
        localtime true
        utc false
      </format>
    </match>
  </label>
</worker>

ページの先頭へ

Copyright (C) 2023, 2024 Hitachi, Ltd.

Copyright (C) 2023, 2024 Hitachi Solutions, Ltd.