Databricks Certified Generative AI Engineer Associate 問題集

正解: C

正解の理由
MLflow Tracing は LangChain に自動トレースを用意しており、mlflow.langchain.autolog() を呼ぶと、チェーンを呼び出したときに入れ子のトレースが、いま有効な MLflow の実験へ自動で記録される。ただし Docs の注記のとおり、サーバーレスの計算では自動ログ（autologging）が自動では有効にならない。サーバーレスで LangChain のトレースを取るには、ノートブックの中で mlflow.langchain.autolog() を明示して呼ぶ必要がある。呼べば、invoke の1回ごとにチェーン・LLM・取得の各ステップがスパンとして残る。

違う選択肢
「サーバーレスの計算ではトレースを実験に書けないので、各ステップの入出力を mlflow.log_param() でランに記録する」… サーバーレスでもトレースは記録できる。足りないのは自動トレースの有効化であり、ランのパラメータに入出力を書いても、スパンの入れ子や遅延を持つトレースにはならない。
「チェーンを mlflow.langchain.log_model() で一度記録しておくと、以後の invoke がサーバーレスでも自動でトレースされる」… log_model はチェーンをモデルとして保存する操作で、自動トレースを有効にする操作ではない。記録したあとも、autolog を呼ばない限りノートブックでの invoke はトレースされない。
「mlflow.set_experiment() の指定を外してノートブックの既定の実験に戻すと、サーバーレスでも自動トレースが有効になる」… 記録先の実験を替えても、自動トレースが無効のままなのは変わらない。トレースが残らない原因は記録先ではなく、autolog が呼ばれていないことにある。

押さえどころ
自動トレースを止めたいときは mlflow.langchain.autolog(disable=True) か mlflow.autolog(disable=True) を呼ぶ。本番の環境では、MLflow 全体の代わりに本番向けの軽い mlflow-tracing パッケージを入れる構成が Docs に示されている。