■ 新機能
▼ Logstorage ライセンスチェック機能
・連携パックの実行時に Logstorage ライセンスの有効期限のチェックを行う様になりました。
・Logstorage ライセンスは $LOGST_HOME/conf/licensekey ファイルを参照します。
コンソールサーバ―と LogGate が別筐体の場合は、コンソールサーバ―の該当ファイルを LogGateサーバーにコピーしてください。
・詳細はマニュアル「6.1. Logstorage ライセンスキーファイルの配置」をご覧ください。
▼ output 出力のログ長上限チェック
・連携パックが出力するログの長さに制限を設け、制限を超えた場合には該当のログを output ディレクトリへ出力せず、専用の illegal ファイルに出力します。
・ログの長さ制限の既定値は、Logstorage が扱えるログメッセージの最大長である 32,767 バイトです。
・詳細はインストールマニュアル「E.1.1. 共通設定項目」をご覧ください。
・AWS Config および AWS CloudTrail については、先行して 「 Logstorage ファイルレシーバ取り込み方式の JsonHandler への移行 」 にて本対応を行っています。今回、ログの長さ制限の既定値を 30,720 から 32,767 バイトに変更および、設定値の公開パラメータ化、ログの出力先設定の追加を行いました。
▼ Amazon Aurora-PostgreSQL ログおよび AWS RDS PostgreSQL ログの新フィールドに対応
・Amazon Aurora-PostgreSQL ログおよび AWS RDS PostgreSQL ログに追加された以下の新フィールドに対応しました。
- 「backend_type」 （バックエンドタイプ）
- 「leader_pid」 （リーダープロセスID）
- 「query_id」 （クエリID）
・上記変更に伴い、対応するログフォーマット定義および設定テンプレートを更新しました。
▼ Amazon ELB ログの新フィールドに対応
・ELB アクセスログ（Application） に追加された以下の新フィールドに対応しました。
＜Application Load Balancer＞
- target:port_list
- target_status_code_list
- classification
- classification_reason
＜Network Load Balancer＞
- alpn_fe_protocol
- alpn_be_protocol
- alpn_client_preference_list
- tls_connection_creation_time
・上記変更に伴い、対応するログフォーマット定義および設定テンプレートを更新しました。
▼ Amazon S3 アクセスログの新フィールドに対応
・S3 アクセスログに追加された以下の新フィールドに対応しました。
- 「Host Id」 （ホスト ID）
- 「Signature Version」 （署名バージョン）
- 「Cipher Suite」 （暗号スイート）
- 「Authentication Type」 （認証タイプ）
- 「Host Header」 （ホストヘッダー）
- 「TLS version」 （TLS のバージョン）
- 「Access Point ARN」 （アクセスポイントの ARN）
- 「aclRequired」 （ACL 必須）
・また、以下のメッセージパラメータ名を変更しました。
「Operation」 （演算） → （オペレーション）
・上記変更に伴い、対応するログフォーマット定義および設定テンプレートを更新しました。
■ 修正・変更点
▼ 収集ログ出力ファイル数の削減
・収集するログ量に対して出力ファイル数が多くなる傾向にあるいくつかのログ収集モジュールについて、出力ファイル数を削減・調整する設定値を追加しました。
・対象ログと既定値による削減効果を下記に示します。
- AWS Config (Config History) … 1/1000
- AWS Config (Config File) … 1/10
- AWS CloudTrail … 1/10
- Amazon ELB … 1/10
- Amazon S3 … 1/10
- Amazon CloudFront … 1/10
・各ログ毎の設定値の詳細は、インストールマニュアル「E.1. awscollector.xmlの設定」をご覧ください。
・AWS CloudTrail については Ver. 1.5.1 から本機能を有しています。今回、既定値を 1 から10 に変更しました。
・上記変更に伴い、output_directory および output_tmp_directory に出力するファイル名を変更しました。
- 日時のミリ秒をナノ秒に変更
- ログ取得元の情報を最小限に変更
- Amazon CloudFront
- 「ディストリビューションID」の付加を、ログファイル名からログの 1 カラム目に変更
・ログに付加する情報に関する詳細はインストールマニュアル「付録R. 連携パックが付加するフィールド (logst フィールド)」をご覧ください。
▼ S3 オブジェクトの出力ファイルの名称規則の変更
・S3 オブジェクトが出力するファイルの名称規則を下記の様に変更しました。
【変更前】
<app_log>%＜AWSアカウント ID＞%＜日時文字列＞%＜S3 オブジェクトキー＞
【変更後】
<app_log>%＜AWSアカウント ID＞%＜日時文字列＞%＜S3 オブジェクトキー抽出情報＞%＜S3 オブジェクトキーのファイル名部分＞
・S3 オブジェクトキーのパスの階層が深い場合に、出力ファイル名が OS のバスの最大長の制限を超え、Logstorageに取り込めなくなる事象の対策となります。
・詳細はインストールマニュアル「19.3. Logstorageファイル取り込み設定」をご覧ください。
▼ Config スナップショットレポートの SNS トピック作成の制約解除
・S3 のイベント通知を利用して構成履歴を取得している環境において、SNS トピックを作成せずに、Config スナップショットレポートを実行できるようにしました。
・また、SNS トピックを作成しないかつ、STS サービスへのアクセスを抑制するためのパラメータ
「--awsaccountid」を追加しました。
・詳細はインストールマニュアル「7.2. S3のイベント通知を利用して構成履歴を取得する」ならびに、「付録F. スナップショットレポートのパラメータ」をご覧ください。
▼ Amazon CloudFront RTMP ディストリビューションの廃止
・2020 年 12 月 31 日に行われた Real-Time Messaging Protocol (RTMP) ディストリビューションの廃止に伴い、ログ収集モジュールから RTMP ディストリビューションのアクセスログを収集する機能を削除しました。
・これにより、ログ収集モジュールは Web ディストリビューションのアクセスログ（現在の公式ドキュメントに「標準ログ（アクセスログ）」と記載されているもの）のみが収集対象となります。
・設定テンプレートの各種条件および、ログフォーマット定義に変更はありません。廃止以前に収集していた RTMP ディストリビューションのログはこれまで通り参照できます。
・RTMP ディストリビューション廃止の詳細については、下記のフォーラムをご覧ください。
[Announcement] RTMP Support Discontinuing on December 31, 2020
https://repost.aws/questions/QUoUZgHZh7SEWlnQUPlBmVNQ
▼ 動作ログファイル出力先の変更
・動作ログファイルの出力先を $LOGST_AWS_HOME/{collector,report}/log から
$LOGST_AWS_HOME/{collector,report}/logs に変更しました。
▼ 設定テンプレート更新
・設定テンプレートに以下の変更を行いました。
- 各種条件の期間指定を 2024 年に変更
- AWS Config (Config History)
- 以下のメッセージパラメータ、タグを追加
newEvaluationResult.complianceType
- 「コンプライアンス変更の通知」のための検索条件および集計条件を追加
- Amazon CloudWatch Logs （Windows イベントログ）
- 各アプリケーションの正規表現先頭に「^awslogs:\s.*」を追加（誤判定防止）
- Windowsセキュリティイベント「その他」アクションの優先度を 5 → 1 に変更
- Amazon ELB
- (AWS-320-N03) に伴う変更
- Amazon CloudFront
- (AWS-320-U01) に伴う変更
- Amazon S3
- (AWS-320-N04) に伴う変更
▼ バンドルモジュール・アップデート
・OpenJDK 11.0.21 (build 11.0.21+9)をバンドルしました［*1］。
- 本バージョンより、TLS の ECDH 系の暗号化方式を有効化しました。
・AWS SDK for Java をバージョン 1.x から 2.x に更新しました［*2］。
■ 本バージョンで修正された不具合
▼ ログ量の多い環境で OutOfMemoryError が発生する問題
▼ Linux 版で重複起動のガードが 1 回しか効かない問題
▼ Linux 版でメモリ使用量が多くなる問題
▼ ファイルレシーバーの監視間隔を既定値と異なる値に設定してしまう問題
［*1］下記のコミュニティが提供するソフトウェアを指します。
AdoptOpenJDK Community(https://adoptopenjdk.net)
［*2］Amazon Web Service 社が提供する、Java 向けの API です。
