AWS Certified Data Engineer - Associate 問題集

AWS 認定資格 AWS Certified Data Engineer - Associate(DEA-C01)試験対策

日本語180問・解説つき・模擬試験つき

AWS Certified Data Engineer - Associate 無料問題 1 / 10 ・ 分野1: データの取り込みと変換

Kinesis データストリームを読む Lambda 関数のイベントソースマッピングで、ReportBatchItemFailures を有効にし、BisectBatchOnFunctionError は無効にしている。あるバッチは 10 件のレコードで、関数は 4 件目と 8 件目の処理に失敗し、2 つのシーケンス番号を batchItemFailures に入れて返した。Lambda は次の呼び出しで、どのレコードを関数に渡すか。

  1. 1 件目から 10 件目までの 10 件で、番号を複数返した応答は完全な失敗として扱われる
  2. 8 件目から 10 件目までの 3 件で、返された番号のうち最も大きいものがチェックポイントになる
  3. 4 件目から 10 件目までの 7 件で、返された番号のうち最も小さいものがチェックポイントになる
  4. 4 件目と 8 件目の 2 件で、返された番号のレコードが選ばれて渡し直される
正解と解説を見る

正解: C

正解の理由
batchItemFailures 配列に複数の項目があるとき、Lambda はシーケンス番号が最も小さいレコードをチェックポイントにし、そこから後ろのレコードをすべて再試行する。最小の番号は 4 件目なので、4 件目から 10 件目の 7 件が関数に渡し直される。5〜7 件目と 9・10 件目は一度成功していても、チェックポイントより後ろにあるので再び処理される。ドキュメントも、部分的な成功を許可すると再試行の回数は減らせるが、成功したレコードが再試行される可能性を完全には防げないと書いている。

違う選択肢
「4 件目と 8 件目の 2 件で、返された番号のレコードが選ばれて渡し直される」… 返された番号から Lambda が決めるのは、再試行を始めるチェックポイントの位置である。失敗した番号のレコードだけを選ぶのではなく、チェックポイントから後ろのレコードがまとめて再試行される。
「8 件目から 10 件目までの 3 件で、返された番号のうち最も大きいものがチェックポイントになる」… 複数の番号が返されたとき、チェックポイントになるのはシーケンス番号が最も小さいレコードである。最も大きい番号を起点にすると 4 件目の失敗が飛ばされるので、ドキュメントの説明と逆になる。
「1 件目から 10 件目までの 10 件で、番号を複数返した応答は完全な失敗として扱われる」… バッチ全体が完全な失敗になるのは、itemIdentifier が空の文字列や null のときと、キー名が誤っているときである。正しい形で複数の番号を返した応答は、最小の番号をチェックポイントにする扱いになる。

押さえどころ
ReportBatchItemFailures を使っても、最初に失敗したレコードより後ろは渡し直される。関数は、一度成功したレコードが再び届く前提で、冪等に書いておく。

AWS Certified Data Engineer - Associateの演習アプリ(無料10問・全問は購入で)へ

問題集(note)を見る