Amazon Kinesis Data Firehose改めて「Amazon Data Firehose」とは

おはようございます。小寺です。
Amazon Kinesis Data Firehoseが名称変更で「Amazon Data Firehose」になりました。
認定試験などで慣れ親しんだ名前が変わってしまうの、少し寂しいですね・・
https://aws.amazon.com/about-aws/whats-new/2024/02/amazon-data-firehose-formerly-kinesis-data-firehose/

名称変更に伴って何が変わるの？

名称変更はAWS マネジメントコンソール、オフィシャルドキュメント、サービス用ページに反映されます。気になるアイコンはぱっと見は変わっていなさそうです。

今日の記事を執筆時点の2月11日時点では、日本語では反映されていませんが、Amazon Data Firehoseにサービス用ページは反映されていますね。

コンソール画面は日本語表示でも変更になっていました。

結論からいうと特に名前の変更だけで変わることはなさそうですね。

サービスエンドポイント、API、AWS コマンドラインインターフェイス (AWS CLI)、AWS Identity and Access Management (IAM) アクセスポリシー、Amazon CloudWatch メトリクスなど、その他の変更はありません。もちろん、既存のアプリケーションは変わらず動作が保証されています。

Amazon Data Firehoseとは

ここで、改めて復習です。Amazon Data Firehoseとは、リアルタイムのストリーミングデータをS3やRedShift、Elasticsearchなどのデータストア、分析ツールに配信することができるマネージドサービスです。

主な配信先

複数のデータ送信先をサポートしています。

・Amazon Simple Storage Service (Amazon S3)
・Amazon Redshift
・Amazon OpenSearch Service
・Amazon OpenSearch Serverless
サポートされているサードパーティーのサービスプロバイダーが所有する HTTP エンドポイント
・Splunk
・Datadog
・Dynatrace
・LogicMonitor
・MongoDB
・New Relic
・Coralogix
・Elastic

主な概念

配信ストリーム(Delivery Stream)
- データ配信の単位
- Kinesis Data Firehose 配信ストリームを作成して、配信ストリーム宛にデータを送ることで利用する
データプロデューサー
- Kinesis Data Firehose へのデータの送信元
- 例を挙げると配信ストリームにログデータを送信するウェブサーバーはデータプロデューサー
バッファサイズ/バッファ間隔
- Kinesis Data Firehose が送信元から送信先にデータを配信するまでのバッファのサイズ
- バッファサイズはMB単位
- バッファ間隔は秒単位

Amazon S3 を送信先とし、データプロデューサーは何等かのログファイルと仮定します。ストリーミングデータは S3 バケットに配信されます。