Databricks Certified Generative AI Engineer Associate 無料問題 10 / 10 ・ 分野6: Evaluation and Monitoring
回答に使う LLM を小さいモデルと大きいモデルのどちらにするか決めるため、2つの候補を Model Serving のチャットのエンドポイントに載せ、同じ評価データを mlflow.genai.evaluate() で両方に流して指標を比べたい。predict_fn は mlflow.genai.to_predict_fn("endpoints:/<エンドポイント名>") で作り、評価データの各行は {"inputs": {"question": "..."}} の形にした。実行すると、どちらのエンドポイントでも入力のキーを認識できないという誤りで評価が止まる。どう直すか。
- ジャッジが質問を読めるよう inputs の question のキーは残し、同じ行の inputs に messages のキーも足して、両方をそろえて渡す
- 評価データを辞書のリストから評価データセット（mlflow.genai.datasets）に移すと、question のキーが messages の形に自動で包まれて送られる
- to_predict_fn は inputs の中身をそのままエンドポイントへ渡すので、各行の inputs を messages のキーに role と content を並べた形に直す
- to_predict_fn は Agent Framework で作ったエンドポイントにしか使えないので、チャットのエンドポイントには自分で REST を呼ぶ predict_fn を書く
正解と解説を見る
正解: C
正解の理由
Docs は、to_predict_fn がキーワード引数をそのままエンドポイントへ渡す（kwargs pass-through）と注記している。評価データの inputs の形は、エンドポイントが期待する入力の形と一致していなければならず、合わないときは認識できない入力のキーという誤りで評価が失敗する。Model Serving のチャットのエンドポイントは messages のキーで書いたデータを求めるので、各行を {"inputs": {"messages": [{"role": "user", "content": "..."}]}} の形に直せば、同じデータで2つのエンドポイントを評価でき、指標を並べて候補を選べる。
違う選択肢
「to_predict_fn は Agent Framework で作ったエンドポイントにしか使えないので、チャットのエンドポイントには自分で REST を呼ぶ predict_fn を書く」… to_predict_fn は Agent Framework（いまの Custom Agents）のエンドポイントだけでなく、Model Serving のチャットのエンドポイントとカスタムのエンドポイントにも使える。自分で REST を呼ぶ関数を書かなくても、データの形を合わせれば足りる。
「評価データを辞書のリストから評価データセット（mlflow.genai.datasets）に移すと、question のキーが messages の形に自動で包まれて送られる」… 評価データセットは版とリネージを管理する置き場で、入力の形をエンドポイントに合わせて包み直す働きは無い。to_predict_fn は inputs をそのまま渡すので、question のキーのまま送られ、同じ誤りで止まる。
「ジャッジが質問を読めるよう inputs の question のキーは残し、同じ行の inputs に messages のキーも足して、両方をそろえて渡す」… to_predict_fn は inputs のキーをそのままエンドポイントへ渡すので、残した question のキーもエンドポイントに届き、チャットのエンドポイントが期待する入力の形と合わない。形が合わなければ、認識できない入力のキーの誤りで評価は止まる。
押さえどころ
to_predict_fn は、トレースを有効にしたエンドポイントからはトレースも取り出すので、指標の差がどのステップで生じたかまで追える。エンドポイントごとに入力の形が違うときは、データを直す代わりに、評価データの形をエンドポイントの形へ変換する関数で包む方法も Docs に示されている。
Databricks Certified Generative AI Engineer Associateの演習アプリ（無料10問・全問は解錠で）へ