AWS Certified Data Engineer - Associate 問題集

AWS 認定資格 AWS Certified Data Engineer - Associate(DEA-C01)試験対策

日本語180問・解説つき・模擬試験つき

AWS Certified Data Engineer - Associate 無料問題 2 / 10 ・ 分野1: データの取り込みと変換

Kinesis Data Streams を読む AWS Glue のストリーミング ETL ジョブを、メンテナンスのためにいったん止めて再開する。ジョブは、どの仕組みで読み取り済みのデータを追跡し、続きから処理するか。

  1. ウィンドウの処理が終わるたびに保存されるジョブブックマークを使い続ける
  2. ジョブブックマークではなくチェックポイントを使い、止まった位置から続きを読み取る
  3. 100 秒のウィンドウが終わるごとにストリームの先頭から読み直し、重複はあとで取り除く
  4. ソースの Data Catalog に、最後に処理したレコードの位置を保存し、再開時にそこから読む
正解と解説を見る

正解: B

正解の理由
ストリーミング ETL ジョブは連続して動き、Kinesis Data Streams・Apache Kafka・Amazon MSK などのソースから読み続ける。データに終わりが無いので、バッチ向けのジョブブックマークでは追跡できず、Glue のストリーミングジョブはチェックポイントを使って、読み取り済みのデータを追跡する。ジョブは、既定で 100 秒のウィンドウ単位でデータを処理して書き出す。これにより、想定より遅れて届いたデータに対する集計も行える。

違う選択肢
「ウィンドウの処理が終わるたびに保存されるジョブブックマークを使い続ける」… ドキュメントは、Glue のストリーミングジョブがジョブブックマークではなくチェックポイントを使うと書いている。ブックマークは追跡の仕組みではない。
「ソースの Data Catalog に、最後に処理したレコードの位置を保存し、再開時にそこから読む」… ストリーミングソースの Data Catalog テーブルは手動で作成し、ソースを記述するものである。読み取った位置はチェックポイントで追跡される。
「100 秒のウィンドウが終わるごとにストリームの先頭から読み直し、重複はあとで取り除く」… 100 秒は、Glue がデータを処理して書き出す既定の間隔で、遅れて届いたデータの集計を可能にするためのものである。読み取り位置をリセットする区切りではない。

押さえどころ
ストリーミング ETL ジョブは、実行中は時間単位で課金される。ウィンドウサイズ(既定 100 秒)は、タイムリーさと集計の精度のどちらを重くみるかに応じて変えられる。

AWS Certified Data Engineer - Associateの演習アプリ(無料10問・全問は購入で)へ

問題集(note)を見る