Databricks Certified Machine Learning Associate 問題集

正解: D

正解の理由
spark.ml の NaiveBayes は Multinomial・Complement・Bernoulli・Gaussian の4つの型を持ち、modelType で選ぶ。既定は "multinomial" である。Multinomial と Complement は語の出現回数、Bernoulli は語の有無（0 か 1）を特徴量とする文書分類向けの型で、公式は Multinomial と Bernoulli の特徴量は非負でなければならないと書いている。標準化して負の値を含む連続値を扱えるのは、特徴量ごとに正規分布を当てはめる Gaussian であり、modelType を "gaussian" と明示する必要がある。

違う選択肢
「modelType を指定しなくてよい。既定の "gaussian" が連続値をそのまま扱う」… spark.ml の NaiveBayes の modelType の既定は "multinomial" で、"gaussian" ではない。指定しないまま負の値を含む特徴量で学習させると、multinomial の前提（特徴量は非負）に反し、学習が通らない。
「modelType は既定のままにし、平滑化の λ を 0 にして負の値の影響を抑える」… λ は加法平滑化（additive smoothing）の強さで、既定は 1.0。出現しなかった語の確率が 0 になるのを防ぐためのもので、負の特徴量を受け付けるようにする働きは無い。既定の multinomial のままでは非負の制約が残る。
「modelType を "bernoulli" にして、標準化した連続値をそのまま学習させる」… Bernoulli は、語が文書に現れたかどうかの 0 か 1 を特徴量にする型である。公式は Multinomial と Bernoulli の特徴量は非負でなければならないとしており、負の値を含む標準化済みの連続値はそのままでは使えない。

押さえどころ
Naive Bayes は学習データを1回なめるだけで、各ラベルのもとでの特徴量の条件付き分布を計算する。データを1回しか使わないので、学習の前に cache する必要もない。文書分類で Multinomial を使うときは、特徴量のベクトルを疎ベクトルにするのが普通である。