2.6.2 OrchestratorのKubernetesマニフェストの作成
「7.5.1 Orchestratorの要件」に記載されている要件を満たすように、OrchestratorをデプロイするためのKubernetesマニフェストを作成してください。
Kubernetesマニフェストの記述例を次に示します。
apiVersion: apps/v1 …1
kind: Deployment
metadata:
name: orchestrator
namespace: my-namespace
spec:
replicas: 1 …18
selector:
matchLabels:
app.kubernetes.io/name: orchestrator
template:
metadata:
labels:
app.kubernetes.io/name: orchestrator
spec:
serviceAccount: orchestrator-service-account …6
initContainers:
- name: dependency-checker …2
image: myregistry.example.com/myproject/dependency-checker:V.R.S※2
args:
- "30"
- "10"
- "10"
- "10"
- my-namespace/deployments/sql-participant※1
containers:
- name: orchestrator …3
image: myregistry.example.com/myproject/orchestrator:V.R.S※2
resources: …14
limits:
cpu: 2
memory: 1Gi
requests:
cpu: 1
memory: 512Mi
ports:
- name: http …4
containerPort: 8080
protocol: TCP
- name: ucars
containerPort: 28081 …13
protocol: TCP
env:
- name: TZ …7
value: Asia/Tokyo
- name: HMPPCTO_JAVA_OPTIONS …10
value: -XX:+UseG1GC
volumeMounts:
- name: config …5
mountPath: /deployments/config
- name: ucars-config …11
mountPath: /opt/hitachi/ucars/conf
- name: snapshot-volume …12
mountPath: /ucars-snapshots
- name: tomcat …8
mountPath: /deployments/tomcat
lifecycle:
preStop: …17
exec:
command:
- /deployments/wait_transactions.sh
- "10"
- "10"
- "10"
- "10"
- "8080"
readinessProbe: …20
tcpSocket:
port: 8080
initialDelaySeconds: 30
timeoutSeconds: 60
- name: filebeat-sidecar …9
image: myregistry.example.com/myproject/filebeat:V.R.S※2
resources: …19
limits:
cpu: 1000m
memory: 2Gi
requests:
cpu: 1000m
memory: 2Gi
args:
- "-e"
- "-E"
- "http.enabled=true"
env: …15
- name: HMPPCTO_POD_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
- name: HMPPCTO_POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: HMPPCTO_NODE_NAME
valueFrom:
fieldRef:
fieldPath: spec.nodeName
livenessProbe:
exec:
command:
- sh
- -c
- |
#!/usr/bin/env bash -e
curl --fail 127.0.0.1:5066
initialDelaySeconds: 10
periodSeconds: 10
failureThreshold: 3
timeoutSeconds: 5
readinessProbe:
exec:
command:
- sh
- -c
- |
#!/usr/bin/env bash -e
filebeat test output
initialDelaySeconds: 10
periodSeconds: 10
failureThreshold: 3
timeoutSeconds: 5
securityContext:
runAsUser: 0
volumeMounts:
- name: beatconfig
mountPath: /usr/share/filebeat/filebeat.yml
readOnly: true
subPath: filebeat.yml
- name: tomcat
mountPath: /deployments/tomcat
terminationGracePeriodSeconds: 180 …16
volumes:
- name: config …5
configMap:
name: orchestrator-config
items:
- key: application.properties
path: application.properties
- name: ucars-config …11
configMap:
name: orchestrator-ucars-config
items:
- key: config.properties
path: config.properties
- name: snapshot-volume …12
persistentVolumeClaim:
claimName: snapshot-volume
- name: beatconfig …9
configMap:
name: orchestrator-filebeat-sidecar-config
- name: tomcat …8
---
apiVersion: v1
kind: Service
metadata:
name: orchestrator
namespace: my-namespace
spec:
type: ClusterIP
selector:
app.kubernetes.io/name: orchestrator
ports:
- name: http …4
protocol: TCP
port: 8080
targetPort: http
- name: ucars
protocol: TCP
port: 28081 …13
targetPort: ucars
---
apiVersion: v1
kind: ConfigMap …5
metadata:
name: orchestrator-config
namespace: my-namespace
data:
application.properties: |
server.port=8080
server.tomcat.accesslog.enabled=true
server.tomcat.basedir=tomcat
server.shutdown=graceful
spring.lifecycle.timeout-per-shutdown-phase=20s
jp.co.Hitachi.soft.hmppcto.learner.consensus-type=Three-Quarters
jp.co.Hitachi.soft.hmppcto.mediator.name=mediator
jp.co.Hitachi.soft.hmppcto.mediator.name-suffix=.mediator.my-namespace.svc.cluster.local
jp.co.Hitachi.soft.hmppcto.mediator.size=5
jp.co.Hitachi.soft.hmppcto.instance-id=orchestrator
jp.co.Hitachi.soft.hmppcto.tracing.url=http://jaeger-collector:14268/api/traces
jp.co.Hitachi.soft.hmppcto.use-scaling=false
---
apiVersion: v1 …11
kind: ConfigMap
metadata:
name: orchestrator-ucars-config
namespace: my-namespace
data:
config.properties: |
monitor.rest.bindaddress=0.0.0.0
monitor.rest.port=28081 …13
snapshot.log.filepath=/ucars-snapshots/${HOSTNAME}/snapshot
monitor.jvm.options=-Dfile.encoding=UTF-8
healthcheck.startdelay.timeout=60000
healthcheck.startdelay.actions.failure.retrymax=4
---
apiVersion: v1 …9
kind: ConfigMap
metadata:
name: orchestrator-filebeat-sidecar-config
namespace: my-namespace
data:
filebeat.yml: |
filebeat.inputs:
- type: filestream
id: "tomcat"
paths:
- '/deployments/tomcat/logs/access_log.*.log'
processors: …15
- add_fields:
target: kubernetes
fields:
namespace: ${HMPPCTO_POD_NAMESPACE}
pod:
name: ${HMPPCTO_POD_NAME}
node:
name: ${HMPPCTO_NODE_NAME}
output.logstash:
hosts: ["logstash.my-namespace.svc.cluster.local:5044"]
---
apiVersion: v1 …6
kind: ServiceAccount
metadata:
name: orchestrator-service-account
namespace: my-namespace- 注※1
-
SQL-Participantを使用する場合の例を記述しています。
-
TCC-Participantを使用するときは、次の記述に置き換えてください。
- my-namespace/deployments/tcc-participant
-
TP1連携機能を使用するときは、次の記述に置き換えてください。<リリース名>は、「(15) Kubernetesアプリケーションのデプロイ」でhelmコマンドに指定するリリース名を指定してください。
- my-namespace/deployments/<リリース名>
（例）
リリース名がtp1-bridge1の場合：- my-namespace/deployments/tp1-bridge1
-
- 注※2
-
V.R.Sは使用するHMP-PCTOとFilebeatのバージョンに合わせて読み替えてください。
記述例の番号は、説明の番号と対応しています。
＜説明＞
この例では、各KubernetesオブジェクトのNamespace名（.metadata.namespaceフィールド）は、「my-namespace」としています。
-
ワークロードリソースを定義します。この例では、ワークロードリソースを「Deployment」としています。
-
初期化コンテナ構成にDependency-Checkerコンテナを定義します。「3.4.5 Dependency-Checkerコンテナイメージの作成（通常版限定）」で作成したコンテナイメージを指定します。
-
コンテナ構成にOrchestratorコンテナを定義します。「2.3.6 Entity-Serviceコンテナイメージの作成」で作成したコンテナイメージを指定します。
-
ユーザ責務のKubernetesアプリケーション（およびPrometheus向け）で使用する各種ポート番号をKubernetesクラスタ内で公開するように定義します。この例では、アプリケーションが使用するポートをTCPプロトコルの8080ポートとしています。
-
Orchestratorコンテナのパラメタを、Spring Bootのコンフィグソースに設定するように定義します。この例では、設定するパラメタは最小限の例としています。
-
Podに対するロールベースアクセス制御（RBAC）に使用するServiceAccountを定義します。
-
Orchestratorコンテナのタイムゾーンを設定します。設定するタイムゾーンはユーザ任意です。この例では、タイムゾーンを日本標準時（Asia/Tokyo、UTC+09:00）としています。
-
Tomcatのベースディレクトリとして /deployments/tomcat をマウントします。
-
このオレンジ色の背景で示す行は、Elastic Stack、JaegerおよびPrometheusを使用してトラブルシュート情報を収集する場合だけ記述します。
FilebeatのSidecarコンテナを定義します。 /usr/share/filebeat/filebeat.yml にFilebeatの設定ファイルをマウントし、 /deployments/tomcat にTomcatのログディレクトリをマウントします。この設定によってTomcatからのログをFilebeatが取得します。なお、output.logstashフィールドのNamespace名にはLogstashアプリケーションをデプロイするNamespaceを指定します。
-
OrchestratorのJavaプロセス起動時にJava VMに渡すオプションを設定します。設定するオプションはユーザ任意です（ただし、「-XX:+UseG1GC」オプションは必ず含めてください）。この例では、オプションを「-XX:+UseG1GC」だけとしています。
-
このオレンジ色の背景で示す行は、通常版（uCosminexus Application Runtime with Java for Spring Boot導入あり）の場合だけ記述します。
uCosminexus Application Runtime with Java for Spring Bootの設定ファイル(config.properties)をOrchestratorコンテナ内にマウントします。この例では、次のパラメタを設定しています。
-
monitor.rest.bindaddress=0.0.0.0
プロセスモニタのHTTP機能に割り当てるIPアドレスを定義します。コンテナ外部から通信を受け付けることができるようにするために、設定を行います。
-
monitor.rest.port=28081
プロセスモニタのHTTP機能の受付ポート番号を定義します。
-
snapshot.log.filepath=/ucars-snapshots/${HOSTNAME}/snapshot
異常検知時のスナップショットログ出力先を、永続ボリュームにマウントするパスに変更します。親ディレクトリ名に「${HOSTNAME}」を採用してコンテナごとに異なるディレクトリに出力されるようにすることで、同時刻に複数のコンテナから同じファイル名で出力することを防止できます。
スナップショットログの収集対象を追加したい場合は、「11.6.2 情報の収集方法」を参照して設定してください。
-
monitor.jvm.options=-Dfile.encoding=UTF-8
プロセスモニタのエンコーディングにUTF-8を設定します。
-
healthcheck.startdelay.timeout=60000
モニタ対象プロセス（Orchestrator）開始完了通知待ちタイムアウト時間を定義します。Orchestratorの起動時に、設定した時間が経過するとsnapshot.log.filepathで指定した先にスナップショットを出力します。モニタ対象プロセス開始完了通知待ちタイムアウト時間の詳細は、マニュアル「uCosminexus Application Runtime for Spring Bootユーザーズガイド」を参照してください。
-
healthcheck.startdelay.actions.failure.retrymax=4
モニタ対象プロセス（Orchestrator）開始完了通知待ちタイムアウトが発生した場合に、モニタ対象プロセス開始完了待ちをリトライする最大回数を定義します。最大リトライ回数を超えると、デフォルトの設定ではモニタ対象プロセスを停止します。モニタ対象プロセス開始完了待ちリトライ回数の詳細は、マニュアル「uCosminexus Application Runtime for Spring Bootユーザーズガイド」を参照してください。
モニタ対象プロセス開始完了通知待ちタイムアウトの合計時間（下記のA）とOrchestratorの開始に掛かる時間（下記のB）の関係を、「A＞B」にしてください。
A：モニタ対象プロセス開始完了通知待ちタイムアウトの合計時間
healthcheck.startdelay.timeoutに指定した値×（healthcheck.startdelay.actions.failure.retrymaxに指定した値＋1）
B：Orchestrator起動時に、トランザクションの合意に必要なMediatorが起動しているかのチェックのリトライ時間
jp.co.Hitachi.soft.hmppcto.mediator.discovery-interval-in-millisに指定した値×jp.co.Hitachi.soft.hmppcto.mediator.discovery-retry-countに指定した値
AをBよりも大きな値とするのは、モニタ対象プロセス開始完了通知待ちタイムアウトによるプロセス停止が、Orchestrator起動時のトランザクションの合意に必要なMediatorが起動しているかのチェック処理を中止することを防ぐためです。
この記述例では、Orchestratorの開始に掛かる時間（180秒）の間に、スナップショットを複数回（3回）出力するように設定しています。
-
-
このオレンジ色の背景で示す行は、通常版（uCosminexus Application Runtime with Java for Spring Boot導入あり）の場合だけ記述します。
uCosminexus Application Runtime with Java for Spring Bootスナップショットログの永続ボリュームをOrchestratorコンテナ内にマウントします。
.spec.template.spec.volumes[].persistentVolumeClaim.claimNameフィールドには、「2.6.8 uCosminexus Application Runtime with Java for Spring Bootスナップショットログの永続ボリュームおよび永続ボリューム要求のKubernetesマニフェストの作成（通常版限定）」で作成するuCosminexus Application Runtime with Java for Spring BootスナップショットログのPersistentVolumeClaimリソースの名称(.metadata.nameフィールドに指定した値)を設定してください。この例では、PersistentVolumeClaimリソースの名称を「snapshot-volume」としています。
-
このオレンジ色の背景で示す行は、通常版（uCosminexus Application Runtime with Java for Spring Boot導入あり）の場合だけ記述します。
uCosminexus Application Runtime with Java for Spring Bootのスナップショットログの手動取得のため、HTTP機能として公開する受付ポート番号を定義します。
-
Orchestratorコンテナのリソースを設定します。実稼働を通して、環境に合わせた設定を実施してください。
オートスケール機能のメトリクスの監視にMetrics Serverを使用する場合は必ず指定してください。
-
Kibanaなどの可視化ツールで検索する際、条件として使用するフィールドを付与するために環境変数を設定します。また、環境変数を使用してフィールドを付与する設定をConfigMapに記載します。
-
Podライフサイクル設定のterminationGracePeriodSecondsを定義します。
-
コンテナライフサイクル設定のpreStopフックを定義します。
-
replicasを設定します。オートスケール機能を使用する場合は設定しないでください。
-
Filebeatコンテナのリソースを設定します。実稼働を通して、環境に合わせた設定を実施してください。
オートスケール機能のメトリクスの監視にMetrics Serverを使用する場合は必ず指定してください。
-
readinessProbeを設定します。
Pod起動時にTCPポートが公開されるまで待機するために設定します。オートスケールを使用している場合は、必ず指定してください。
tcpSocket.portには、4.で指定したHTTP機能として公開する受付ポート番号と同じ値を設定してください。
Pod起動時に初期化処理が実行されるため、initialDelaySeconds（初回Probe実行までの待機秒数）を設定してください。推奨値は30秒です。推奨値を設定後、起動直後（スケールアウトなど）のOrchestratorへのHTTPリクエストがタイムアウトする現象が発生していないか検証し、発生している場合はinitialDelaySecondsの設定値をより大きい値に見直してください。
timeoutSecondsにReadiness Probeのタイムアウト秒数を設定してください。initialDelaySecondsの設定秒数より大きい値を設定してください。推奨値はinitialDelaySecondsの推奨値にバッファを加えた60秒です。
- 重要
-
Kubernetesマニフェスト作成時の注意事項
Kubernetesマニフェストは、行頭のインデント（文字の開始位置）が厳密に評価されます。注意して作成してください。