安全かつ高速なデータ移動ができるAWS DataSyncについて

みなさん、こんにちは。今日は、AWS DataSyncについてお伝えします。メリットや他のサービスとの違いについて、理解が深まれば幸いです。

AWS DataSync

近年、AIやデータ分析による、データの利活用が盛んになっており、様々な企業でデータの重要性が叫ばれています。
オンプレミス上のデータをAWS(Amazon Web Services)に移行して、AIやデータ分析を行う、といった会社も増えて生きています。
このように、オンプレミス上のデータを移行する方法の1つとして、AWS DataSyncというサービスを使うことができます。
AWS DataSyncを使うとどのようなメリットがあるのか、どういうユースケースが考えられるのか記載していきます。

AWS DataSyncで何ができるの？

データが増え続けると、データの移動が大きな課題になってきます。
AWS DataSyncは、大容量のデータ移動における様々な課題を解決し、安全かつ高速なデータ移動を実現できるサービスです。

データ移動の課題

データ移動には、どのような課題があるのでしょうか。そして、なぜAWS DataSyncを利用しないといけないのでしょうか。実際世の中には、AWS DataSync以外にも様々なデータの移動手段があります。例えば、Linuxコマンドのcp、scpから始まり、ftpといったプロトコル、httpsによるデータの移動といった様々な手段があります。小規模・小容量のデータであれば、cpコマンドやftpを利用すればいいのですが数千万ファイルや数TBクラスのデータになってくると、ファイル送信元のエラー、NWの帯域、もれなくデータを転送できているかといったデータ整合性の考慮、といった様々な考慮すべき点が生じてきます。これらの考慮すべき点について、解決をしてくれるのがAWS DataSyncなのです。

できること

AWS DataSyncは、オンプレミス環境とAWS間、およびAWS内のストレージサービス間のデータ転送を高速かつセキュアに実施するマネージドサービスです。
オンプレミス環境であれば、仮想アプライアンスの「DataSyncエージェント」というサーバを立てることで、オンプレミスのデータをDataSyncエージェント経由で高速にデータ転送できるようになります。また、AWSの他アカウントや他リージョンのEFS、S3といったストレージサービスに対しても高速にデータ転送を行うことができます。
AWS DataSyncを使うことによる、データ移動のメリットについて、具体的に見ていきましょう。

高速化
DataSyncエージェントはAWS側との複数セッションの確立やデータの圧縮といった、データ転送を高速化させる様々な仕組みが備わっています。
また、DataSyncエージェントは複数起動することも可能です。複数起動してデータ転送を行うことでより高速なデータ転送を実現できます。
セキュアな転送
DataSyncエージェントとAWS側はTLSにより暗号化されるようになっているので、セキュアなデータ転送ができるようになっています
エラーハンドリング
万が一NW通信が途絶えても再送処理を行う仕組みが備わっています。また、データの整合性検証も行うため、データの送信漏れやデータの欠損についても、利用者側で考慮する必要がありません。
自動化
”タスク”という設定を行うことで、データ転送を決められた日時に自動で行うことができます。これにより、バッチ的なデータ転送ができるようになり、運用の幅が広がります。

AWS DataSyncのユースケース

では、AWS DataSyncはどのように使っていけばいいのでしょうか。代表的なユースケースについて紹介していきます。

１）オンプレミス環境のファイルサーバのバックアップ

DirectConnectやVPNを利用し、オンプレミス環境のファイルサーバをAWSにバックアップする、といった活用方法が考えられます。

２）ストレージのレプリケーション

アプリケーションの海外展開や、事業所の海外拠点新設といった場合に、海外のAWS環境にデータを同期させることも考えられます。
このような場合には、AWS DataSyncを利用し、S3やファイルサーバに格納されているデータを同期させる、といった活用方法が考えられます。

ほかのサービスとの違い

AWSにもデータ移動サービスは様々な種類があります。どのように使い分けをしていけばいいのか、

Snowシリーズ
AWSの大容量データ移動サービスの代表格として、Snowシリーズがあります。Snowシリーズは、オンプレミスからAWSへのデータ移行でのみ、使用できます。
したがって、AWS DataSyncのように、AWS間でのデータ移行の場合は、AWS DataSyncを利用するといいでしょう。
また、テラバイト級～ペタバイト級といった、非常に大容量のデータ移動を行う場合は、Snowシリーズのほうが高速かつ安価にデータを移動させることができます。
AWS DataSyncは転送されたデータ1GBあたり、0.04 USDの利用料金がかかります。
80TBのデータを移動する場合は、AWS DataSyncの場合は3000ドル以上の値段がかかってしまいますが、Snowシリーズの場合は300ドルと配送料で済むため、非常に安価に住むことがわかります。
S3 Transfer Acceleration、EFS File Sync
こちらは、S3やEFSといった特定のサービスに限定した場合、利用するといいでしょう。
対象が多岐にわたる場合は、AWS DataSyncを利用するといいでしょう。
Strage Gateway
AWS DataSyncもStrageGatewayも、いずれもオンプレミスからのデータ連携が可能です。主な違いはデータの移行先です。StrageGatewayはS3やEBSに限られますが、AWS DataSyncはEFSやFSxといった対象にもデータを送ることができます。
StrageGatewayはファイルのキャッシュ機能やアーカイブ機能が備わっているため、そのような要件がある場合はStrageGatewayを利用するといいでしょう。
Kinesisシリーズ
Kinesisシリーズはストリーミングサービスを目的として開発されたものです。したがって、Kinesisはリアルタイム～ニアリアルタイムのデータ連携やデータ処理が必要な場合はKinesisシリーズ、バッチ処理でのデータ移動はAWS DataSync、といった形で使い分けるといいでしょう。

利用上の注意

AWS DataSyncは編集中のファイルも特に制限なく転送することが可能です。しかしながら、データ移動中に編集中のファイルが保存される（＝書き込みがされる）と、AWS DataSyncの機能であるファイル整合性チェックの段階で、不整合と判定されてエラーとして処理されてしまいます。このため、AWS DataSyncでデータの転送処理が行われている時間帯には、ファイル編集をしない、または深夜など、ファイル書き込みが行われにくい時間帯にデータ転送処理を行う、といった工夫をする必要があります。

AWS DataSyncは非常に様々な機能があり、高速かつセキュアにデータ移動を行うことができます。ほかのAWSにおけるデータ移動サービスと組みあわせて、データを集中・蓄積させ、企業のAI活用やデータ分析をより進めていきましょう。

データ移行に関する問い合わせは、 SunnyCloudまでお問合せをお願いします。担当者より追ってご連絡させていただきます。