SnowPro Advanced: MLOps Engineer 無料問題 10 / 10 ・ 分野5: Governance, Security, and Monitoring
モデル CHURN には、バージョン V3 のモデルモニターがある。チームは Model Registry に V4 を記録し、既定のバージョンにして、採点のジョブを V4 へ向けた。1週間後、V3 のモニターのダッシュボードには古いデータしか無く、V4 を見張るものは無い。ML Observability のドキュメントは何と言っているか。
- モニターは既定のバージョンに付いていくので、次の更新が済めば V4 を見張る
- V4 に新しいモニターを作る。1つのモニターはちょうど1つのバージョンを見張る
- ALTER MODEL MONITOR で V4 を足し、1つのモニターで両方のバージョンを見張る
- モデルごとに1つのモニターが決まりなので、V4 を見張るには先に V3 を消しておく
正解と解説を見る
正解: B
正解の理由
「ML Observability workflow」の節には、見張りたいモデルのバージョンごとに、モデルモニターのオブジェクトをはっきり作らなければならないと書かれている。各モデルのバージョンはちょうど1つのモニターを持て、各モニターはちょうど1つのモデルのバージョンを見張り、共有はできない。各モニターは、見張るモデルのバージョン・モニターのログを持つテーブル・集計の時間幅・任意のベースラインのテーブルを中に持つ。したがって V3 のモニターは、もう新しい推論の行を受け取らない V3 を見張り続け、V4 には、採点のジョブが今結果を書くテーブルの上に、VERSION = 'V4' の CREATE MODEL MONITOR が専用に要る。
違う選択肢
「モニターは既定のバージョンに付いていくので、次の更新が済めば V4 を見張る」… ページには、見張りたいモデルのバージョンごとに、モデルモニターのオブジェクトをはっきり作らなければならないとある。モニターは見張るモデルのバージョンを中に持つので、新しい既定のバージョンへ移ることは無い。
「ALTER MODEL MONITOR で V4 を足し、1つのモニターで両方のバージョンを見張る」… 各モニターはちょうど1つのモデルのバージョンを見張り、モニターは共有できない。したがって1つのモニターのオブジェクトで V3 と V4 を一緒に見ることはできず、見張りの要るバージョンごとに専用のモニターを持つ。
「モデルごとに1つのモニターが決まりなので、V4 を見張るには先に V3 を消しておく」… 決まりはモデルごとではなくモデルのバージョンごとで、各モデルのバージョンがちょうど1つのモニターを持てる。V3 と V4 は同時にそれぞれのモニターを持てる。
新しいバージョンには新しいモニター
モニターを作る段は、バージョンを記録して昇格させるのと同じリリースの段に入れておけば、見張られないバージョンが動くことは無い。V3 のモニターをしばらく残しておけば、ダッシュボードの Compare model の選択で2つのバージョンを比べることもできる。