AWS Certified Data Engineer - Associate 無料問題 2 / 10 ・ 分野1: データの取り込みと変換
Kinesis Data Streams を読む AWS Glue のストリーミング ETL ジョブを、メンテナンスのためにいったん止めて再開する。ジョブは、どの仕組みで読み取り済みのデータを追跡し、続きから処理するか。
- ウィンドウの処理が終わるたびに保存されるジョブブックマークを使い続ける
- ジョブブックマークではなくチェックポイントを使い、止まった位置から続きを読み取る
- 100 秒のウィンドウが終わるごとにストリームの先頭から読み直し、重複はあとで取り除く
- ソースの Data Catalog に、最後に処理したレコードの位置を保存し、再開時にそこから読む
正解と解説を見る
正解: B
正解の理由
ストリーミング ETL ジョブは連続して動き、Kinesis Data Streams・Apache Kafka・Amazon MSK などのソースから読み続ける。データに終わりが無いので、バッチ向けのジョブブックマークでは追跡できず、Glue のストリーミングジョブはチェックポイントを使って、読み取り済みのデータを追跡する。ジョブは、既定で 100 秒のウィンドウ単位でデータを処理して書き出す。これにより、想定より遅れて届いたデータに対する集計も行える。
違う選択肢
「ウィンドウの処理が終わるたびに保存されるジョブブックマークを使い続ける」… ドキュメントは、Glue のストリーミングジョブがジョブブックマークではなくチェックポイントを使うと書いている。ブックマークは追跡の仕組みではない。
「ソースの Data Catalog に、最後に処理したレコードの位置を保存し、再開時にそこから読む」… ストリーミングソースの Data Catalog テーブルは手動で作成し、ソースを記述するものである。読み取った位置はチェックポイントで追跡される。
「100 秒のウィンドウが終わるごとにストリームの先頭から読み直し、重複はあとで取り除く」… 100 秒は、Glue がデータを処理して書き出す既定の間隔で、遅れて届いたデータの集計を可能にするためのものである。読み取り位置をリセットする区切りではない。
押さえどころ
ストリーミング ETL ジョブは、実行中は時間単位で課金される。ウィンドウサイズ(既定 100 秒)は、タイムリーさと集計の精度のどちらを重くみるかに応じて変えられる。
AWS Certified Data Engineer - Associateの演習アプリ(無料10問・全問は購入で)へ