概要
Logstorage AWS 対応パックは、AWSからログを自動収集するモジュールと、AWSのログを解析する条件定義ファイルを含む、Logstorageのオプション製品です。
パッケージ内容・収集モジュール
・ログフォーマット定義・タグ定義
・検索・集計・レポート・カラムセットに関するテンプレート
AWSとはAWSは、Amazon社が提供するクラウドプラットフォームです。サービス系アプリやビッグデータ分析、ストレージなど幅広い利用に適しており、ITインフラに必要なリソースを柔軟に且つ低価格で提供しています。
詳細は https://aws.amazon.com/jp/what-is-aws/をご覧下さい。
収集
AWS のログ
Logstorage AWS 対応パックは、下記 AWS のログ収集をサポートします。
収集対象ログ項目 | ||
---|---|---|
▼収集対象 | ▼利用するAWSサービス | ▼収集内容 |
AWS Config | ・AWS Config ・Amazon Simple Notification Service (SNS) ・Amazon Simple Queue Service (SQS) <構成イメージ> | AWS上のリソース設定の変更履歴 |
・AWS Config ・Amazon Simple Queue Service (SQS) ・Amazon Simple Storage Service (S3) <構成イメージ> | AWS上のリソース設定の構成履歴 |
|
・AWS Config ・Amazon Simple Storage Service (S3) <構成イメージ> | リソース構成の スナップショット | |
AWS CloudTrail | ・AWS CloudTrail ・Amazon Simple Notification Service (SNS) ・Amazon Simple Queue Service (SQS) ・Amazon Simple Storage Service (S3) <構成イメージ> | AWS上の操作ログ(監査ログ) |
・AWS CloudTrail ・Amazon Simple Queue Service (SQS) ・Amazon Simple Storage Service (S3) <構成イメージ> |
||
Amazon CloudWatch Logs | ・Amazon CloudWatch Logs <構成イメージ> | ・EC2上のAgentが送信したログ ・EC2上のAgentが送信した通信ログ(VPC Flow Logs) |
AWS Billing | ・AWS Billing ・Amazon Simple Storage Service (S3) <構成イメージ> | AWS請求データ ・その他レポート(月別レポート、リソースとタグを含む詳細な請求レポート) ・コストと使用状況レポート(AWS Cost and Usage Report) |
Amazon ELB | ・Amazon ELB ・Amazon Simple Notification Service (SNS) ・Amazon Simple Queue Service (SQS) <構成イメージ> | ELBのアクセスログ ・Classic Load Balancerのアクセスログ ・Application Load Balancerのアクセスログ ・Network Load Balancerのアクセスログ、VPCフローログ |
Amazon S3 | ・Amazon Simple Storage Service (S3) ・Amazon Simple Queue Service (SQS) <構成イメージ> | S3のアクセスログ |
Amazon RDS | ・Amazon Relational Database Service(RDS) <構成イメージ> | Amazon RDS (Oracle)の監査ログ (Oracle 19cまで) |
Amazon RDS (Aurora-MySQL)の高度な監査機能ログ (Aurora-MySQL 5.7まで) | ||
Amazon RDS (Aurora-PostgreSQL) 監査ログ (Aurora-PostgreSQL 12まで) | ||
Amazon RDS (PostgreSQL) 監査ログ (Aurora-PostgreSQL 13まで) | ||
Amazon CloudWatch Metrics | ・Amazon CloudWatch Metrics <構成イメージ> | Amazon CloudWatchサービスからEC2上の統合Cloudwatch Agentが送信した メトリクス(CPU、Disk、メモリの利用等) |
Amazon CloudFront | ・Amazon CloudFront ・Amazon Simple Queue Service (SQS) ・Amazon Simple Storage Service (S3) <構成イメージ> | CloudFrontのアクセスログ |
Amazon S3 オブジェクト | ・Amazon Simple Queue Service (SQS) ・Amazon Simple Storage Service (S3) <構成イメージ> | S3に配置された任意のログ |
AWS 以外の収集対象のログ
Logstorageは、AWS 以外の収集対象のログ管理もサポートしています。
システム環境やログの特性に合わせ、複数の収集方式を組合わせることができます。
収集先 | 収集方法 |
---|---|
ファイルレシーバ | クラウド専用コレクタが、ログを定期収集、ファイルレシーバが、ファイル共有されたログを定期受信 |
Logstorage ELCが、ログを定期収集、ファイルレシーバが、ファイル共有されたログを定期受信 | |
ファイルレシーバが、ファイル共有されたログを定期受信 | |
FTPレシーバ | Logstorage SBTが、ログをバッチ読み込み、FTPレシーバに送信 |
LLTPレシーバ | Logstorage Agentが、ログをリアルタイム収集、LLTPレシーバにリアルタイム送信 |
Syslog UDPレシーバ | Syslogレシーバが、Syslogプロトコルをリアルタイム受信 |
Syslog TCPレシーバ | |
Syslog TLSレシーバ | |
SNMPレシーバ | SNMPレシーバが、SNMPトラップをリアルタイム受信 |
Logstorage Agentは、集中管理ツールによって集中管理することができます。
Logsource Controller
ログの収集実績例はこちらからご確認いただけます。
収集実績一覧
保管
Logstorageは、収集したログを最大1/10に圧縮し、堅固なAESやBlowfish等の暗号化方式で、安全に保管することができます。
機能 | 概要 |
---|---|
ログ圧縮保管機能 | Logstorageは、収集したログを最大で10分の1に圧縮して保管します。 ログ保管に用いるストレージのコストを大幅にカットできます。 |
ログ暗号化機能 | Logstorageは、AESやBlowfishなどの暗号方式を用い、 収集したログを暗号化して保管する事が可能です。 |
ログの改ざん検出機能 | Logstorageは、収集したログデータに対するハッシュ値を管理しており、 これを用いる事でログが改ざんされている、或いは改ざんされていない事の証明が可能です。 |
ログのアーカイブ機能 | Logstorageは、一定期間を超えたログデータをアーカイブできます。 OSのスケジューラー等に登録することで自動的にアーカイブが可能です。 |
ログフォーマット定義機能 | ログフォーマット定義機能は、Logstorageで収集したログの項目に対して、 意味付け・タグ付けを行う機能です。 |
グループ・ユーザ管理機能 | グループ・ユーザ管理機能は、グループ・ユーザ単位に、利用できる機能や、 アクセスできるログについて権限設定ができる機能です。 |
マスタ連携機能 | マスタ連携機能は、ログ収集時に、ログとマスタ情報との紐づけを行うことで、 ログに含まれない情報を付加できる機能です。 |
ログフォーマット自動解析機能 | ログフォーマット自動解析機能は、レシーバがログを受信した段階で自動的にログフォーマットを解析し、 アプリケーション、アクション、メッセージパラメータとして自動登録する機能です。 |
分析
分析方法
Logstorageでは多様な分析方法を用意しています。分析イメージは各ページからご確認いただけます。
機能 | 概要 |
---|---|
検索 | 全てのログを横断追跡 |
集計 | ログから全体の兆候を分析 |
検知 | 異常な兆候をリアルタイムに検知・通知 |
レポート | モニタリングを自動化 |
インサイト | ログの統計分析をダッシュボード上から確認可能 |
突合コマンドオプション | コマンドを利用して外部データの情報をログに付与して転送可能 |
AWS のログ分析
Logstorage AWS 対応パックによって分析できる内容です。
テンプレート一覧 | ||
---|---|---|
▼検索 | ||
Billing | 一括請求 | AWS Billingの月別レポートを検索します(一括請求用) |
Billing | 個別請求 | AWS Billingの月別レポートを検索します(個別請求用) |
CloudFront | (フォルダ直下) | Amazon CloudFrontのアクセスログを検索します |
CloudTrail | (フォルダ直下) | AWS CloudTrailのログを検索します |
CloudWatchLogs | Linux | Amazon CloudWatchLogsのLinuxのログを検索します |
CloudWatchLogs | VPC Flow Logs | Amazon CloudWatchLogsのVPCFlowLogsのログを検索します |
CloudWatchLogs | Windows | Amazon CloudWatchLogsのWindowsのログを検索します |
CloudWatchLogs | 未定義アプリ | Amazon CloudWatchLogsのLinux/VPC Flow Logs/Windows以外のログフォーマット未定義のログを検索します |
CloudWatchMetrics | (フォルダ直下) | Amazon CloudWatchメトリクス情報を検索します |
Config | Config File | AWS Configの構成履歴を検索します |
Config | Config History | AWS Configの変更履歴を検索します |
Config | ConfigSnapshot | AWS Configスナップショットのレポート作成時に使用します |
ELB | (フォルダ直下) | ELB(Application/Classic/Network)のアクセスログを検索します |
RDS | (フォルダ直下) | Amazon RDS(Aurora/Aurora-PostgreSQL/Oracle/PostgreSQL)の監査ログを検索します |
S3 | (フォルダ直下) | Amazon S3のアクセスログを検索します |
▼集計 | ||
Billing | コストと使用状況レポート | AWS Cost and Usage reportを集計します |
Billing | 一括請求 | AWS Billingの月別レポートを集計します(一括請求用) |
Billing | 個別請求 | AWS Billingの月別レポートを集計します(個別請求用) |
Billing | 詳細(一括請求) | AWS Billingのリソースとタグを含む詳細な請求レポートを集計します(一括請求用) |
Billing | 詳細(個別請求) | AWS Billingのリソースとタグを含む詳細な請求レポートを集計します(個別請求用) |
CloudFront | (フォルダ直下) | Amazon CloudFrontのアクセスログを集計します |
CloudTrail | (フォルダ直下) | AWS CloudTrailのログを集計します |
CloudWatchLogs | Linux | Amazon CloudWatchLogsのLinuxのログを集計します |
CloudWatchLogs | VPC Flow Logs | Amazon CloudWatchLogsのVPCFlowLogsのログを集計します |
CloudWatchLogs | Windows | Amazon CloudWatchLogsのWindowsのログを集計します |
CloudWatchMetrics | (フォルダ直下) | Amazon CloudWatchメトリクス情報を集計します |
Config | Config File | AWS Configの構成履歴を集計します |
Config | Config History | AWS Configの変更履歴を集計します |
ELB | (フォルダ直下) | ELB(Application/Classic/Network)のログを集計します |
S3 | (フォルダ直下) | Amazon S3のアクセスログを集計します |
▼検知 | ||
Billing | 一括請求 | AWS Billingの月別レポートをレポート出力します(一括請求用) |
Billing | 個別請求 | AWS Billingの月別レポートをレポート出力します(個別請求用) |
CloudFront | (フォルダ直下) | Amazon CloudFrontのアクセスログをレポート出力します |
CloudTrail | (フォルダ直下) | AWS CloudTrailのログをレポート出力します |
CloudWatchLogs | Linux | Amazon CloudWatchLogsのLinuxのログをレポート出力します |
CloudWatchLogs | VPC Flow Logs | Amazon CloudWatchLogsのVPCFlowLogsのログをレポート出力します |
CloudWatchLogs | Windows | Amazon CloudWatchLogsのWindowsのログをレポート出力します |
Config | Config File | AWS Configの構成履歴をレポート出力します |
Config | Config History | AWS Configの変更履歴をレポート出力します |
Config | Configスナップショット | AWS Configスナップショットのレポート出力します |
ELB | (フォルダ直下) | ELB(Application/Classic/Network)のログをレポート出力します |
S3 | (フォルダ直下) | Amazon S3のアクセスログをレポート出力します |
AWSのログに関する分析例はこちらからご確認いただけます。
(画像クリックで拡大)