【アップデート】Amazon DataZoneとAmazon Redshiftの統合が強化されました

こんばんは、小寺です。
Amazon DataZoneとAmazon Redshiftの統合が強化されました。
https://aws.amazon.com/about-aws/whats-new/2024/03/amazon-datazone-enhancements-redshift-integration/

Amazon DataZoneについて振り返り

Amazon DataZone使っている方いますか。AWS re:Invent 2022で発表されたサービスです。
AWS、オンプレミス、およびサードパーティのソース全体に保存されているデータを迅速かつ簡単にカタログ化、発見、共有、管理できるようにするデータ管理サービスです。
データゾーンは以下の4つのコンポーネントに分かれています。

・Data portal（データポータル）
ユーザーがセルフサービスの形式でデータのカタログ化、検出、管理、共有、分析ができます。
認証はIAM Identity CenterかIDプロバイダーの既存の認証情報が利用できます。

・Business data catalog（ビジネスデータカタログ）
「ビジネスコンテキスト」でカタログ化し、データを検索、共有可能にします。組織全体のデータをカタログ化し、組織内の全員がデータを迅速に検索できるようになります。
Amazon DataZone でもデータソースとの接続には Glue Data Catalog が使われます。 Redshift は直接接続もできます。

・Data project（データプロジェクトと環境）
プロジェクトを使用して、ユーザー、データアセット、分析ツールのビジネスユースケースベースのグループを作れます。
プロジェクトに追加されているユーザがプロジェクトのデータを確認できます。

・Pub/Sub workflow with access management（ガバナンスとアクセスコントロール）
自動化されたワークフローによりデータ生産者 (Producer) が公開したデータをデータ消費者が安全にアクセスできます。
サブスクリプションリクエストが承認されると、Amazon DataZone は、AWS Lake Formation や Amazon Redshift等でアクセスの管理を行います。

アップデート内容

管理者権限でRedshiftクラスター、データベース、AWS シークレットキーなどのパラメーターを指定して、DefaultDataWarehouseBlueprint 上にパラメーターセットを作成できるようになりました。
Amazon DataZone プロジェクトを作るときにパラメーターセットを利用することができます。作成時に承認がされます。

また、データプロデューサーとデータコンシューマーは環境作成時にパラメータの指定なしで作成ができるようになりました。

確認してみる

環境の作成に使用されるブループリントは、プロジェクトのメンバーが Amazon DataZone カタログ内のアセットを操作するときの環境を定義します。
Amazon DataZone の現在のリリースには、 2つのブループリントが組み込まれています

・データレイクブループリント
Amazon DataZone カタログでデータレイクアセットを公開および使用するための一連のサービス (AWS Glue、AWS Lake Formation、Amazon Athena) が定義されています。
・データウェアハウスブループリント
Amazon DataZone カタログで Amazon Redshift アセットを公開および使用するため、Redshiftの起動と設定が定義されています。

前提として、Amazon DataZone 管理コンソール経由で Amazon DataZone ドメインの組み込みブループリントを有効にする場合、管理者権限を持つアカウントで IAM ロールを引き受ける必要があります。

(1) ドメインの詳細ページで「ブループリント」を選びます。「DefaultDataLake」と「DefaultDataWarehouse」が確認できます。