E資格（エンジニア資格） 無料問題 2 / 10 ・ 分野2: 機械学習
ある分類モデルの訓練データでの誤差は2%、検証データでの誤差は18%だった。この状況の診断と、まず試す対応として、適切な組はどれか。
- 過少適合で、バイアスが大きい。正則化を強めて訓練誤差をさらに上げる
- 過剰適合で、バリアンスが大きい。モデルをさらに大きくして訓練誤差を0に近づける
- 過少適合で、バイアスが大きい。モデルの表現力を大きくする
- 過剰適合で、バリアンスが大きい。学習用の事例を増やすか、正則化を強める
正解と解説を見る
正解: D
正解の理由
訓練誤差が小さいのに検証誤差が大きく開いているのは、モデルが訓練データの細かな偏りまで覚えてしまった過剰適合（バリアンスが大きい）の特徴である。対応は、訓練データを増やす、正則化（重みの減衰・ドロップアウト）を強める、モデルを小さくするなどである。
違う選択肢
「過少適合で、バイアスが大きい。モデルの表現力を大きくする」… 訓練誤差がすでに小さいので過少適合ではない。過少適合なら訓練誤差自体が大きく、表現力を上げる対応が効くが、今は逆である。
「過剰適合で、バリアンスが大きい。モデルをさらに大きくして訓練誤差を0に近づける」… 診断は正しいが、モデルを大きくするとさらに過剰適合する。訓練誤差を下げるのは問題ではなく、検証誤差との差が問題である。
「過少適合で、バイアスが大きい。正則化を強めて訓練誤差をさらに上げる」… 訓練誤差が小さいので過少適合の診断が合わない。正則化を強めるのは過剰適合のときの対応で、診断と対応が一致していない。
押さえどころ
訓練誤差と検証誤差の2つを並べて見ると、状況が分かれる。両方高ければ過少適合（バイアス）、訓練が低く検証が高ければ過剰適合（バリアンス）、両方低ければ良い状態である。