AWS Certified Generative AI Developer - Professional 無料問題 10 / 10 ・ 分野5: テスト、検証、トラブルシューティング
EKS 上のアプリが、NAT ゲートウェイ経由で Bedrock の長時間のストリーミング呼び出しを行う。接続プールに残った接続が、間隔を置いた次の呼び出しで「接続のリセット」や「タイムアウト」になることがある。boto3 の tcp_keepalive を True にしたが改善しない。ドキュメントに沿う原因と対処はどれか。
- NAT などのアイドルタイムアウト(350秒)で切られている。OS の keep-alive 間隔も350秒より短くする
- Bedrock の VPC エンドポイントを NAT ゲートウェイへ置き換えると、アイドルタイムアウトは無くなる
- Bedrock が接続を60秒で切るため、SDK のタイムアウトを60秒未満に設定し直す
- tcp_keepalive の設定が有効なら十分で、OS 側の設定は関係しないので変更不要である
正解と解説を見る
正解: A
正解の理由
NAT ゲートウェイ、インターフェイス VPC エンドポイント、Network Load Balancer には、350秒の固定のアイドル接続タイムアウトがある。TCP 接続がこれより長く無通信だと、クライアントに通知されないまま切られ、次の呼び出しで接続のリセットやタイムアウトが起きる。ドキュメントは、keep-alive の有効化には2つの設定が一緒に必要だと述べている。SDK で tcp_keepalive を有効にすることと、OS の keep-alive 間隔を350秒より前に作動するよう下げることである。Linux の既定値は7200秒で、これでは SDK 側の設定だけでは効果がない。
違う選択肢
「tcp_keepalive の設定が有効なら十分で、OS 側の設定は関係しないので変更不要である」… SDK 側の keep-alive と、OS 側の keep-alive の間隔の両方が必要である。Linux の既定は2時間で、NAT の350秒より長い。
「Bedrock の VPC エンドポイントを NAT ゲートウェイへ置き換えると、アイドルタイムアウトは無くなる」… NAT ゲートウェイ、インターフェイス VPC エンドポイント、NLB のどれにも固定のアイドルタイムアウトがある。
「Bedrock が接続を60秒で切るため、SDK のタイムアウトを60秒未満に設定し直す」… ドキュメントが挙げる原因は、NAT ゲートウェイ、インターフェイス VPC エンドポイント、NLB の固定アイドルタイムアウト(350秒)である。
押さえどころ
長時間のストリーミングや、接続プールの中で待機する接続が多い、間隔を置いて動く負荷で起きやすい。症状はコールドスタートが長く見える形でも現れる。
AWS Certified Generative AI Developer - Professionalの演習アプリ(無料10問・全問は購入で)へ