【アップデート】AWS Glue Data Qualityが発表されました(re:Invent 2022）

みなさん、こんにちは。サニービュー事業部の小寺です。
re:Inventのアップデートとして、AWS Glue Data Qualityが発表されました。
発表時点の2022年12月時点でプレビュー版として提供されています。

どういったサービスなのか？の前に先に用語について、解説します。

AWS Glue Data Qualityで使われる用語たち

・DQDL
Data Quality Definition Languageの略。
AWS Glue データ品質ルールを記述するために使用できるドメイン固有の言語です。

・ルール
特定の特性についてデータをチェックし、ブール値を返す DQDL 式

・ルールセット
一連のデータ品質ルールで構成される AWS Glue リソース。
データのチェック内容（ルール）を規定する。

・データ品質
色々な意味がある言葉ですが、ここではデータセットが特定の目的をどの程度達成できるか？の観点に基づきます。データセットに対してルールを評価し、データ品質を測定します。

・データ品質スコア
AWS Glue Data Quality を使用してルールセットを評価したときに合格 (結果が true) になったルールの割合。

AWS Glue Data Qualityとは？

AWS Glue Data Qualityとは、データレイクとデータパイプラインのデータ品質を自動的に測定・モニタリングする新機能です。どうやって使うサービスなのか気になりますよね。

データの統計を計算し、データ品質ルールのセットをレコメンデーションしてくれます。
ルールが自動的にデータの正確性、鮮度、完全性などの品質面をチェックし、AWSから推奨されるルールを調整することも、独自のルールを作成することもできます。
データ品質タスクを実行して、データ品質の問題を分析、特定し、対応することができます。データ品質タスクは、データに対してルールを評価します。評価については、ETL ジョブを使うこともできます。

対応後は、データ品質タスクの結果が表示されます。データ品質タスクを実行することで、データ品質スコアが計算されます。データ品質が低下した場合に、ユーザに警告するアクションを設定することもできます。データ品質メトリクスを Amazon CloudWatch に発行するオプションがあるので、連携させることで定期的なチェックを行うことができます。

Step 1: Add the Evaluate Data Quality node to the visual job

AWS Glue Studioのアクションメニューで「Data Evaluate Quality」を選びます。

Step 2: Create a rule using DQDL

完全性ルールタイプは、指定された列に対して、列内の完全な値のパーセンテージをチェックします。ここでいう完全性（Completeness）はNull以外を意味します。
Evaluate DataQualityのTransformタブを選択し、DQDL rule builderでCompletenessを選択します。

step3:Configure Data Quality actions and output

[データ品質アクション] で、[データ品質が失敗した場合にジョブを失敗させる] のチェックボックスをクリックします。
デフォルトでは、本アクションは選択されておらず、データ品質ルールが失敗した場合でもジョブは実行完了となります。

[データ品質変換の出力] で、次のオプションから選択します。
・元のデータ — 元の入力データの出力を選択します。このオプションは、品質の問題が検出されたときにジョブを停止する場合に使います。
・データ品質の結果 — 構成されたルールとその合格または不合格ステータスを出力することができます。このオプションは、カスタムアクションを実行する場合に便利です。

Step 4: View data quality results

ジョブが完了したらジョブのData qualityタブをクリックして、結果を確認することができます。ノードには、データ品質ステータスとステータスの詳細が表示されます。ノードをクリックして、すべてのルールと各ルールのステータスを表示し、確認することができます。

前提条件

・AWS Glue Data Catalog の AWS Glue Data Quality は現在、Amazon S3 ソースで動作します。
・AWS Glue Data Quality は、ETL ジョブの AWS Glue 3.0 と連携します。他のバージョンにはまだ対応していません。
・データ品質ルールは、ネストされたデータソースまたはリスト形式には対応していません。