AWS Certified AI Practitioner 無料問題 4 / 10 ・ 分野2: GenAI の基礎
夜のうちに数万件の商品説明から要約を作りたい。応答はすぐに返らなくてよい。Amazon Bedrock のバッチ推論のページの説明に合う方法はどれか。
- CountTokens API に入力をまとめて送り、要約の結果とトークン数を一度に受け取り、S3 に保存する
- 入力をファイルで S3 に置き、バッチ推論のジョブで非同期に処理させて、結果を S3 で受け取る
- プロビジョンドスループットを買ったモデルにバッチ推論のジョブを流して、夜間の処理量を確保する
- バッチ推論のジョブの中でツールの呼び出しを使い、要約のたびに商品のデータベースを引かせる
正解と解説を見る
正解: B
正解の理由
ページは、バッチ推論では複数のプロンプトを送って非同期に応答を作れると書く。入力を定義したファイルを S3 のバケットに置き、そのバケットを指定してバッチ推論の要求を出し、ジョブが終わったら S3 から出力のファイルを受け取る。大きなデータの推論の性能を上げるのに使える、とある。すぐの応答が要らない大量の処理に向く。
違う選択肢
「CountTokens API に入力をまとめて送り、要約の結果とトークン数を一度に受け取り、S3 に保存する」… CountTokens は、推論を送る前に入力のトークン数を返す API である（トークンを数えるページ）。要約などの推論の結果は返さない。
「プロビジョンドスループットを買ったモデルにバッチ推論のジョブを流して、夜間の処理量を確保する」… ページの Note は、バッチ推論はプロビジョンドのモデルでは使えないと書く。
「バッチ推論のジョブの中でツールの呼び出しを使い、要約のたびに商品のデータベースを引かせる」… ページの Note は、バッチ推論はツールの呼び出し（関数の呼び出し）や構造化された出力に対応しないと書く。入力の各レコードは、モデルとの往復なしに1件ずつ独立に処理される。
応答性と費用のトレードオフ
Exam Guide の目標 2.3.4 は、応答性をコストのトレードオフの1つに挙げる。すぐの応答が要らないなら、対話の呼び出しを1件ずつ待つより、まとめて非同期に処理するほうが扱いやすい。バッチ推論の料金は Amazon Bedrock の料金のページで確かめるよう、ページは案内している。ジョブの終了は EventBridge で通知を受け取れる。