Databricks Certified Machine Learning Associate 問題集

正解: A

正解の理由
推奨のワークフローは、上で作ったモデル学習パイプラインをそのまま使った自動の再学習を想定し、まず定期のスケジュールによる再学習から始めて、必要になったらきっかけによる再学習へ移ることを勧めている。新しいデータが定期的に入るならスケジュールしたジョブで最新のデータに学習コードを当てる。きっかけによる再学習は、ドリフトやモデルの品質をしきい値と比べる SQL アラートを作り、その宛先を Webhook にして学習のワークフローを起動する形で組む。

違う選択肢
「監視のしきい値で起動する形から始め、データが定期的に届くようになったら、SQL アラートの Webhook をやめてスケジュールへ移る」… 公式の勧めは、定期のスケジュールで始め、必要になったらきっかけでの再学習へ移る順である。しきい値で起動する形を先にすると、監視の指標やしきい値が固まる前に自動の再学習が回ることになる。
「定期のスケジュールから始め、必要になったら、サービングエンドポイントがドリフトを検知して学習のジョブを自動で起動する形へ移る」… 始め方は合っているが、起こし方が違う。公式は、ドリフトやモデルの品質をしきい値と比べる SQL アラートを作り、その宛先を Webhook にして学習のワークフローを起動する形を示している。サービングエンドポイントがドリフトを見て学習を起こす仕組みは書かれていない。
「監視のしきい値で起動する形から始め、起動にはサービングエンドポイントの自動再学習の設定を使い、スケジュールは使わない」… 始め方は公式の勧めと逆で、起こし方も公式の形（SQL アラートの Webhook）と違う。サービングエンドポイントに自動再学習の設定があるとは書かれていない。

押さえどころ
再学習やほかのパイプラインに性能の問題が出たときは、データサイエンティストが開発環境へ戻って追加の実験をすることもある、と公式は書いている。自動化の範囲は、学習・検証・デプロイのパイプラインまでで、原因の調べ直しは開発の側の仕事として描かれている。