AWS Certified AI Practitioner 無料問題 3 / 10 ・ 分野2: GenAI の基礎
社内規程について尋ねると、規程に無い条文をもっともらしく答えることがある。Amazon Bedrock の「Prompt engineering concepts」のページがハルシネーションを減らす方法として挙げるものを2つ選べ。
- 推論のパラメータの temperature を上げ、出力の候補を広げる
- プロビジョンドスループットを買い、応答の品質を底上げする
- 別のモデルに替えて、より良い結果が出るかを確かめる
- CountTokens API で入力を数え、上限を超えないように削る
- RAG を使い、関係の深いデータをモデルが参照できるようにする
正解と解説を見る
正解: C・E
正解の理由
ページの Note は、ハルシネーションを減らすには、プロンプトの最適化の手法でプロンプトを磨くこと、RAG のような手法でモデルが関係の深いデータを参照できるようにすること、より良い結果を出しうる別のモデルを使うことができる、と書く。規程のように手元の文書に答えがある問いでは、RAG で規程の該当部分をモデルに渡すのが効く。
違う選択肢
「プロビジョンドスループットを買い、応答の品質を底上げする」… プロビジョンドスループットは、モデルが処理する入出力の量と速さを固定の費用で高めるための購入の仕組みである。応答の正しさを上げるものではない。
「推論のパラメータの temperature を上げ、出力の候補を広げる」… 推論パラメータのページは、temperature を上げると確率の低い出力が選ばれやすくなり、応答がよりランダムになると書く。事実に沿わない答えを減らす向きの調整ではない。
「CountTokens API で入力を数え、上限を超えないように削る」… CountTokens は、推論の前に費用を見積もったり、トークンの上限に収まるよう調整したりするための API である（トークンを数えるページ）。ハルシネーションを減らす方法としては挙がっていない。
ハルシネーションとは
生成AIレンズの定義は、ハルシネーションを「生成AIのモデルが、一貫しない、事実として誤った、または入力のプロンプトと関係の無い出力を作る現象」とする。同じ定義の一覧は、RAG は応答を文書に基づかせ、ハルシネーションを減らすために使う、とも書いている。