AWS Certified Generative AI Developer - Professional 無料問題 5 / 10 ・ 分野2: 実装と統合
Bedrock の応答をユーザーに少しずつ表示するため、Lambda 関数で応答をストリーミングしたい。最初の文字が出るまでの時間(TTFB)を短くしたい。関数 URL か InvokeWithResponseStream を使う前提で、ドキュメントに沿う説明はどれか。
- ストリーミングを使うと応答全体をメモリにまとめてから返すため、TTFB は従来どおりである。上限はバッファ応答と同じ 6 MB である
- 部分的な応答を利用可能になり次第クライアントに返せるため TTFB が改善する。ストリーミングの応答は最大 200 MB で、バッファ応答の 6 MB を超えられる
- Python のマネージドランタイムでそのまま使える。追加のアダプターやカスタムランタイムは省ける
- Lambda コンソールのテストでストリーミングの動作を確認できる。コンソールでもチャンクが逐次表示される
正解と解説を見る
正解: B
正解の理由
Lambda は、関数 URL か InvokeWithResponseStream API を通じて、応答ペイロードをクライアントに直接ストリーミングできる。部分的な応答を利用可能になり次第返せるので TTFB が改善し、関数が応答全体をメモリに収める必要もなくなる。ストリーミング応答は最大 200 MB で、バッファ応答の最大 6 MB より大きい。
違う選択肢
「Lambda コンソールのテストでストリーミングの動作を確認できる。コンソールでもチャンクが逐次表示される」… Lambda コンソールでテストすると、応答は常にバッファされた形で表示される。ストリーミングの確認には関数 URL などを使う。
「Python のマネージドランタイムでそのまま使える。追加のアダプターやカスタムランタイムは省ける」… ストリーミングをサポートするマネージドランタイムは Node.js である。Python などは、カスタムランタイムか Lambda Web Adapter を使う。
「ストリーミングを使うと応答全体をメモリにまとめてから返すため、TTFB は従来どおりである。上限はバッファ応答と同じ 6 MB である」… ストリーミングでは部分的な応答を順次返すため、全体をメモリに収める必要がなく、TTFB が改善する。上限は 200 MB である。
押さえどころ
ストリーミングに対応するマネージドランタイムは Node.js で、Python などはカスタムランタイムか Lambda Web Adapter を使う。クライアントが切断してもストリーミングは止まらず、関数の実行時間の全体が課金されるので、タイムアウトは必要以上に長くしない。
AWS Certified Generative AI Developer - Professionalの演習アプリ(無料10問・全問は購入で)へ