Databricks Certified Generative AI Engineer Associate 問題集

正解: C

正解の理由
LangChain の自動トレースの中身を変えたいときは、mlflow.langchain.langchain_tracer.MlflowLangchainTracer を継承したコールバックハンドラーを作る。MlflowLangchainTracer は LangChain の推論の流れに差し込まれるコールバックハンドラーで、on_chain_start や on_llm_start などの動きに合わせてスパンを始め、動きが終わるとスパンを閉じる。チャットモデルの開始で呼ばれる on_chat_model_start を上書きし、属性に版番号を足してから _start_span を呼べば、そのスパンにだけ独自の属性が付く。スパンの種類・名前・入出力・遅延は、これまでどおり自動で記録される。

違う選択肢
「mlflow.langchain.autolog() の引数に属性の辞書を渡し、チャットモデルのスパンにだけ、その属性を付けさせる」… autolog は自動トレースを有効・無効にする入口で、Docs が示す中身の変え方は、ハンドラーを継承して開始の関数を上書きすることである。引数で種類ごとのスパンに属性を足す形にはなっていない。
「@mlflow.trace(attributes=…) を付けた関数でチェーンを包み、版番号を属性に渡して、内側のチャットモデルのスパンへ写させる」… @mlflow.trace は包んだ関数の分のスパンを1つ作り、渡した属性もそのスパンに付く。内側のチャットモデルのスパンは自動トレースが別に作るもので、外側の属性は写らない。
「mlflow.set_experiment_tags() で実験に版番号を付け、その実験に記録される各スパンの属性へ自動で写させる」… mlflow.set_experiment_tags() のタグは実験を分類するための情報で、記録される各スパンの属性へ写す設定は無い。チャットモデルのスパンには版番号が付かない。

押さえどころ
自動トレースが追う LangChain の呼び出しは invoke・batch・stream と、それぞれの非同期版（ainvoke・abatch・astream）、取得器の get_relevant_documents、Chain と AgentExecutor の __call__ である。これ以外の入口から呼ぶ処理は、自分でスパンを作らないとトレースに出てこない。