Databricks Certified Machine Learning Associate 問題集

正解: A

正解の理由
本番ステージの学習の段について、公式は、開発の間には多くのアルゴリズムとハイパーパラメータを試すが、本番の学習コードでは上位の選択肢だけを考えるのが一般的だと書いている。こうして調整を絞ると時間が節約でき、自動の再学習で調整から生まれるばらつきも抑えられる。データサイエンティストが prod カタログを読み取り専用で見られるなら、最適なハイパーパラメータを決めておき、本番のパイプラインはその値で実行する。

違う選択肢
「本番の学習コードでは、開発のときより広い探索空間で調整し、本番データに合う組み合わせを再学習のたびにあらためて探す」… 開発では多くのアルゴリズムとハイパーパラメータを試すが、本番の学習コードでは上位の選択肢だけを考えるのが一般的、と公式は書いている。探索を広げると時間がかかり、自動の再学習のたびに選ばれる組み合わせが揺れやすくなる。
「本番の学習コードでは調整を行わず、開発で最良だったモデルの成果物を prod カタログへそのまま登録する」… 推奨のワークフローの本番ステージは「学習と調整」を含む学習パイプラインを本番のデータで動かす。開発で作った成果物をそのまま本番へ入れる形は、本番のモデルを本番のコードで学習するという考え方と合わない。
「本番の学習コードでは、ステージングの統合テストで最良だったハイパーパラメータを、その MLflow の実行から読み込んで使う」… ステージングの統合テストは、パイプラインが一緒に正しく動くかを確かめるもので、時間を縮めるためにデータを減らすこともある。そこで選ばれた値を本番が読み込むという流れは書かれていない。値を固定するなら、構成ファイルとしてパイプラインに含める形が示されている。

関連する設定
選んだハイパーパラメータは、構成ファイルとしてパイプラインに含めるのが典型、と公式は書いている。本番の学習ログ（指標・パラメータ・タグ・モデル）は本番環境の MLflow Tracking サーバーに記録され、評価には開発のときにデータサイエンティストが決めた指標を使う。