ログ監視共通定義ファイル（jpc_fluentd_common.conf）

〈このページの構成〉

形式

@include jpc_fluentd_common_wevt_rendered.conf（Windowsの場合だけ）
@include jpc_fluentd_common_list.conf
 
## [System Settings]
<system>
  log_level ログレベル
  format text
  time_format %Y-%m-%d %H:%M:%S %z
  workers workerの数
</system>
 
<worker 0>
## [Remote Write Settings]
  <filter jpc_ima_metrics.**>
    @type record_transformer
    enable_ruby true
    auto_typecast true
    renew_record true
    
    <record>
      labels ${record}
      samples ${[[time.utc.to_i*1000,1]]}
    </record>
  </filter>
 
  <match jpc_ima_metrics.**>
    @type http
    headers {"accept":"application/json"}
    content_type application/json
    json_array false
    endpoint 統合エージェント制御基盤のトレンドデータ書き込みAPI
    <buffer>
      flush_interval 60s
      disable_chunk_backup true
    </buffer>
  </match>
</worker>
 
<worker 1-workerのid>
## [Output Settings]
  <match {tail.*.jp1event,wevt.*.jp1event}>
    @type copy
    copy_mode no_copy
    <store>
      @type http
      endpoint 統合エージェント制御基盤のJP1イベント変換API
      headers {"accept":"application/json"}
      content_type application/json
      json_array true
      open_timeout 60
      read_timeout 60
      error_response_as_unrecoverable true
      retryable_response_codes [503]
      <buffer tag>
        @type file
        flush_interval フラッシュ間隔
        overflow_action バッファキューが一杯になった時のoutputプラグインの動作
        retry_wait リトライ間隔
        path ../data/fluentd/buffer
        timekey_wait 600
        timekey_use_utc false
        timekey_zone local timezone
        chunk_limit_size 32MB
        total_limit_size バッファサイズの上限
        chunk_full_threshold 0.95
        queued_chunks_limit_size 1
        compress text
        flush_at_shutdown false
        flush_mode default
        flush_thread_count 1
        flush_thread_interval 1.0
        flush_thread_burst_interval 1.0
        delayed_commit_timeout 60
        retry_forever true
        retry_type periodic
        retry_wait 10s
        disable_chunk_backup false
      </buffer>
    </store>
    <store>
      @type relabel
      @label @STDOUT
    </store>
  </match>
 
## [Private Settings]
  <match {tail.*.outputlog,wevt.*.outputlog}>
    @type relabel
    @label @STDOUT
  </match>
 
  <label @STDOUT>
    <match {tail.**,wevt.**}>
      @type stdout
      <format>
        @type out_file
        time_type string
        time_format %Y-%m-%d %H:%M:%S %z
        localtime true
        utc false
      </format>
    </match>
  </label>
</worker>

ページの先頭へ

ファイル

jpc_fluentd_common.conf

jpc_fluentd_common.conf.model（モデルファイル）

ページの先頭へ

格納先ディレクトリ

■統合エージェントホスト

Windowsの場合

物理ホストのとき

Agentパス\conf\
論理ホストのとき

共有フォルダ\jp1ima\conf\

Linuxの場合

物理ホストのとき

/opt/jp1ima/conf/
論理ホストのとき

共有ディレクトリ/jp1ima/conf/

ページの先頭へ

説明

HTTP POSTリクエスト機能やログ出力機能など，ログ監視機能で共通の動作を定義するためのファイルです。

先頭の文字が「#」である行は，コメントとして扱い，プログラムの動作には影響しません。

ページの先頭へ

文字コード

UTF-8（BOM無し）

ページの先頭へ

改行コード

Windowsの場合：CR+LF

Linuxの場合：LF

ページの先頭へ

定義の反映時期

Fluentdのサービスを再起動したときに，Fluentdの動作に反映します。

ページの先頭へ

記述内容

<worker>ディレクティブ

Fluentdが起動するworkerのidを引数に指定することで，指定したidのworkerでだけ，ディレクティブ内で指定したプラグインが動作します。

workerのid（オプション）: Fluentdが起動するworkerのidを指定します。<worker N-M>ディレクティブの引数として機能します。Nは常に1を指定します。Mに指定する値は，workerの数に指定した整数から1を引いた数を指定します。

[System Settings]セクション

ログ監視機能全体の動作に影響する設定を行います。

ログレベル（オプション）

Fluentdのログレベルを指定します。

説明	変更可否	JP1/IM - Agentでユーザーが設定する内容	JP1/IM - Agentの初期値
指定できるログレベルを冗長性の昇順で次に示します。 fatal error warn info debug trace デフォルトは「info」です。Fluentdは，デフォルトでinfo，warn，error，およびfatalのログを出力します。	変更可	確認したいログのレベルに合わせて設定します。	info

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

指定できるログレベルを冗長性の昇順で次に示します。

fatal
error
warn
info
debug
trace

デフォルトは「info」です。Fluentdは，デフォルトでinfo，warn，error，およびfatalのログを出力します。

変更可

確認したいログのレベルに合わせて設定します。

info

workerの数（オプション）

説明	変更可否	JP1/IM - Agentでユーザーが設定する内容	JP1/IM - Agentの初期値
Fluentdが起動するworkerの数を指定します。指定できる値は，1から31の整数です。	変更可	ログ監視共通定義ファイル，テキスト形式のログファイルの監視定義ファイル，Windowsイベントログの監視定義ファイル，ログメトリクス定義ファイルの合計数を指定します。	10

[Output Settings]セクション

ログ監視機能で監視したログデータを出力するための設定を行います。

複数マネージャーホストへのデータ配信機能を使用している場合は，セカンダリーの統合エージェント制御基盤の設定も追加で記載します。設定例については，マニュアル「JP1/Integrated Management 3 - Manager 導入・設計ガイド」の「3.15.7(5)(f) 統合エージェント制御基盤以外の各プログラムの送信設定」の「ログ監視共通定義ファイル（jpc_fluentd_common.conf）の設定例」を参照してください。

統合エージェント制御基盤のJP1イベント変換API（オプション）

説明	変更可否	JP1/IM - Agentでユーザーが設定する内容	JP1/IM - Agentの初期値
HTTPリクエストのエンドポイントを512バイト以内で指定します。＜設定例＞ `# Use HTTP` `endpoint http://`統合エージェントホスト`名:20726/ima/api/v1/proxy/service/imdd/im/api_system/v1/events/transform` このパラメーターは，プレースホルダーをサポートしているため，時間，タグ，およびレコードフィールドを埋め込むことができます。プレースホルダーが機能するには，<buffer>セクションも必要です。＜設定例＞ `endpoint http://`統合エージェントホスト名`:20726/ima/api/v1/proxy/service/imdd/im/api_system/v1/events/transform/${tag}-${key}` `<buffer tag,key>` `# buffer parameters` `</buffer>` endpointには，メトリックとログデータの送信先を指定します。詳細については，マニュアル「JP1/Integrated Management 3 - Manager 導入・設計ガイド」の「3.15.3 JP1/IM - Agentによるログ監視機能」の「(9)HTTP POSTリクエスト機能（httpプラグイン）」を参照してください。 endpointに指定したURLが誤っている場合は，警告メッセージが出力され，メトリックやログデータが送信されません。そのため，ユーザーはFluentdの起動後，メトリックとログデータのPOST時のログに，警告が出ていないことを確認する必要があります。	設定必須	JP1イベントを発行するため，統合エージェント制御基盤のJP1イベント変換APIのURLを指定します。統合エージェント制御基盤のポート番号を変更している場合，設定変更が必要です。	`http://`統合エージェントホスト名`:20726/ima/api/v1/proxy/service/imdd/im/api_system/v1/events/transform`

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

HTTPリクエストのエンドポイントを512バイト以内で指定します。

＜設定例＞

# Use HTTP

endpoint http://統合エージェントホスト名:20726/ima/api/v1/proxy/service/imdd/im/api_system/v1/events/transform

このパラメーターは，プレースホルダーをサポートしているため，時間，タグ，およびレコードフィールドを埋め込むことができます。プレースホルダーが機能するには，<buffer>セクションも必要です。

＜設定例＞

endpoint http://統合エージェントホスト名:20726/ima/api/v1/proxy/service/imdd/im/api_system/v1/events/transform/${tag}-${key}

<buffer tag,key>

# buffer parameters

</buffer>

endpointには，メトリックとログデータの送信先を指定します。詳細については，マニュアル「JP1/Integrated Management 3 - Manager 導入・設計ガイド」の「3.15.3 JP1/IM - Agentによるログ監視機能」の「(9)HTTP POSTリクエスト機能（httpプラグイン）」を参照してください。

endpointに指定したURLが誤っている場合は，警告メッセージが出力され，メトリックやログデータが送信されません。そのため，ユーザーはFluentdの起動後，メトリックとログデータのPOST時のログに，警告が出ていないことを確認する必要があります。

設定必須

JP1イベントを発行するため，統合エージェント制御基盤のJP1イベント変換APIのURLを指定します。統合エージェント制御基盤のポート番号を変更している場合，設定変更が必要です。

http://統合エージェントホスト名:20726/ima/api/v1/proxy/service/imdd/im/api_system/v1/events/transform

フラッシュ間隔（オプション）

説明	変更可否	JP1/IM - Agentでユーザーが設定する内容	JP1/IM - Agentの初期値
buffer内に保管したログデータを，統合エージェント制御基盤に送信する間隔を指定します。指定できる値は，1s〜86,400sです。単位（s）は必須です。指定なしも動作します。	可	送信間隔を変更します。	60s

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

buffer内に保管したログデータを，統合エージェント制御基盤に送信する間隔を指定します。

指定できる値は，1s〜86,400sです。単位（s）は必須です。

指定なしも動作します。

可

送信間隔を変更します。

60s

バッファキューが一杯になった時のoutputプラグインの動作（オプション）

説明	変更可否	JP1/IM - Agentでユーザーが設定する内容	JP1/IM - Agentの初期値
bufferキューが一杯になったときのoutputプラグインの動作を指定します。指定できる値を次に示します。 throw_exception Fluentdのログにエラーを出力します。監視対象のログファイルに新しくログが出力されてもバッファに追加しません。送信が成功するようになると，ログファイルに出力されているログはトラップされますが，ラップして消えてしまっている場合はロストします。 drop_oldest_chunk 最も古いチャンクを削除して，新しく入ってきたチャンクを受け入れます。 block Fluentdのログにエラーは出力しません。監視対象のログファイルに新しくログが出力されてもバッファに追加しません。送信が成功するようになると，ログファイルに出力されているログはトラップされますが，ラップして消えてしまっている場合はロストします。	可	bufferキューが一杯になったときのoutputプラグインの動作を指定します。	throw_exception

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

bufferキューが一杯になったときのoutputプラグインの動作を指定します。指定できる値を次に示します。

throw_exception

Fluentdのログにエラーを出力します。監視対象のログファイルに新しくログが出力されてもバッファに追加しません。送信が成功するようになると，ログファイルに出力されているログはトラップされますが，ラップして消えてしまっている場合はロストします。
drop_oldest_chunk

最も古いチャンクを削除して，新しく入ってきたチャンクを受け入れます。
block

Fluentdのログにエラーは出力しません。監視対象のログファイルに新しくログが出力されてもバッファに追加しません。送信が成功するようになると，ログファイルに出力されているログはトラップされますが，ラップして消えてしまっている場合はロストします。

可

bufferキューが一杯になったときのoutputプラグインの動作を指定します。

throw_exception

リトライ間隔（オプション）

説明	変更可否	JP1/IM - Agentでユーザーが設定する内容	JP1/IM - Agentの初期値
送信失敗したチャンクのリトライ間隔を指定します。指定できる値は，1s〜600sです。単位（s）は必須です。このパラメーターに空白，または，不正な形式で値を指定した場合，リトライ間隔は，Winsows環境では2秒程度，Linux環境では0.02秒程度になります。	可	リトライ間隔を指定します。	10s

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

送信失敗したチャンクのリトライ間隔を指定します。

指定できる値は，1s〜600sです。単位（s）は必須です。

このパラメーターに空白，または，不正な形式で値を指定した場合，リトライ間隔は，Winsows環境では2秒程度，Linux環境では0.02秒程度になります。

可

リトライ間隔を指定します。

10s

バッファサイズの上限（オプション）

説明	変更可否	JP1/IM - Agentでユーザーが設定する内容	JP1/IM - Agentの初期値
bufferプラグインのインスタンスのサイズ制限を指定します。指定できる値は32MB〜65536MBです。保存されたバッファの合計サイズがこのしきい値に達すると，すべての追加操作はエラーで失敗し，データは失われます。バッファは，JP1/IM - Agentをセットアップした環境のディスクの容量を使用します。バッファの合計サイズは，次の計算式で見積もりを行います。「0.015MB × バッファリングするJP1イベントの件数」	可	bufferプラグインのインスタンスのサイズ制限を指定します。	4096MB

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

bufferプラグインのインスタンスのサイズ制限を指定します。

指定できる値は32MB〜65536MBです。

保存されたバッファの合計サイズがこのしきい値に達すると，すべての追加操作はエラーで失敗し，データは失われます。

バッファは，JP1/IM - Agentをセットアップした環境のディスクの容量を使用します。バッファの合計サイズは，次の計算式で見積もりを行います。

「0.015MB × バッファリングするJP1イベントの件数」

可

bufferプラグインのインスタンスのサイズ制限を指定します。

4096MB

[Remote Write Settings]セクション

FluentdがJP1/IM - Managerのトレンドデータ管理DBにサンプルを送信するための設定を行います。

複数マネージャーホストへのデータ配信機能を使用している場合は，セカンダリーの統合エージェント制御基盤の設定も追加で記載します。設定例については，マニュアル「JP1/Integrated Management 3 - Manager 導入・設計ガイド」の「3.15.7(5)(f)統合エージェント制御基盤以外の各プログラムの送信設定」の「ログ監視共通定義ファイル（jpc_fluentd_common.conf）の設定例」を参照してください。

統合エージェント制御基盤のトレンドデータ書き込みAPI（オプション）

説明	変更可否	JP1/IM - Agentでユーザーが設定する内容	JP1/IM - Agentの初期値
HTTPリクエストのエンドポイントを512バイト以内で指定します。HTTPSを使用する場合は，httpsプレフィックスを使用します。＜設定例＞ `# Use HTTP` `endpoint http://example.com/api` `# Use HTTPS. You can set additional HTTPS parameters like tls_xxx` `endpoint https://example.com/api` このパラメーターは，プレースホルダーをサポートしているため，時間，タグ，およびレコードフィールドを埋め込むことができます。プレースホルダーが機能するには，<buffer>セクションも必要です。＜設定例＞ `endpoint http://example.com/api/${tag}-${key}` `<buffer tag,key>` `# buffer parameters` `</buffer>` endpointには，メトリックとログデータの送信先を指定します。詳細については，マニュアル「JP1/Integrated Management 3 - Manager 導入・設計ガイド」の「3.15.3 JP1/IM - Agentによるログ監視機能」の「(9)HTTP POSTリクエスト機能（httpプラグイン）」を参照してください。 endpointに指定したURLが誤っている場合は，警告メッセージが出力され，メトリックやログデータが送信されません。そのため，ユーザーはFluentdの起動後，メトリックとログデータのPOST時のログに，警告が出ていないことを確認する必要があります。	設定必須	メトリックをJP1/IM - Managerに送信するため，統合エージェント制御基盤のトレンドデータ書き込みAPIのURLを指定します。統合エージェント制御基盤のポート番号を変更している場合，設定変更が必要です。	`http://`統合エージェントホスト名`:20727/ima/api/v1/proxy/service/promscale/write`

説明

変更可否

JP1/IM - Agentでユーザーが設定する内容

JP1/IM - Agentの初期値

HTTPリクエストのエンドポイントを512バイト以内で指定します。HTTPSを使用する場合は，httpsプレフィックスを使用します。

＜設定例＞

# Use HTTP

endpoint http://example.com/api

# Use HTTPS. You can set additional HTTPS parameters like tls_xxx

endpoint https://example.com/api

＜設定例＞

endpoint http://example.com/api/${tag}-${key}

<buffer tag,key>

# buffer parameters

</buffer>

設定必須

メトリックをJP1/IM - Managerに送信するため，統合エージェント制御基盤のトレンドデータ書き込みAPIのURLを指定します。統合エージェント制御基盤のポート番号を変更している場合，設定変更が必要です。

http://統合エージェントホスト名:20727/ima/api/v1/proxy/service/promscale/write

[Private Settings]セクション

編集不可です。

ページの先頭へ

定義例

## [System Settings]
<system>
  log_level info
  format text
  time_format %Y-%m-%d %H:%M:%S %z
  workers 10
</system>
 
<worker 0>
## [Remote Write Settings]
  <filter jpc_ima_metrics.**>
    @type record_transformer
    enable_ruby true
    auto_typecast true
    renew_record true
  
    <record>
      labels ${record}
      samples ${[[time.utc.to_i*1000,1]]}
    </record>
  </filter>
  <match jpc_ima_metrics.**>
    @type http
    headers {"accept":"application/json"}
    content_type application/json
    json_array false
    endpoint http://統合エージェントホスト名:20727/ima/api/v1/proxy/service/promscale/write
    <buffer>
      flush_interval 60s
      disable_chunk_backup true
    </buffer>
  </match>
</worker>
 
<worker 1-9>
## [Output Settings]
  <match {tail.*.jp1event,wevt.*.jp1event}>
    @type copy
    copy_mode no_copy
    <store>
      @type http
      endpoint http://統合エージェントホスト名:20726/ima/api/v1/proxy/service/imdd/im/api_system/v1/events/transform
      headers {"accept":"application/json"}
      content_type application/json
      json_array true
      open_timeout 60
      read_timeout 60
      error_response_as_unrecoverable true
      retryable_response_codes [503]
      <buffer tag>
        @type file
        flush_interval 5s
        overflow_action throw_exception
        retry_wait 10s
        path ../data/fluentd/buffer
        timekey_wait 600
        timekey_use_utc false
        timekey_zone local timezone
        chunk_limit_size 32MB
        total_limit_size 4096MB
        chunk_full_threshold 0.95
        queued_chunks_limit_size 1
        compress text
        flush_at_shutdown false
        flush_mode default
        flush_thread_count 1
        flush_thread_interval 1.0
        flush_thread_burst_interval 1.0
        delayed_commit_timeout 60
        retry_forever true
        retry_type periodic
        retry_wait 10s
        disable_chunk_backup false
      </buffer>
    </store>
    <store>
      @type relabel
      @label @STDOUT
    </store>
  </match>
 
## [Private Settings]
  <match {tail.*.outputlog,wevt.*.outputlog}>
    @type relabel
    @label @STDOUT
  </match>
 
  <label @STDOUT>
    <match {tail.**,wevt.**}>
      @type stdout
      <format>
        @type out_file
        time_type string
        time_format %Y-%m-%d %H:%M:%S %z
        localtime true
        utc false
      </format>
    </match>
  </label>
</worker>

ページの先頭へ