データサイエンティスト検定 リテラシーレベル 無料問題 5 / 10 ・ 分野2: データサイエンス
分類モデルを作った担当者が、学習に使ったデータと同じデータで予測の正しさを測り、満点に近い結果を報告した。scikit-learn の解説に沿った、この評価の問題点はどれか。
- 学習データが多すぎるので、学習データの量を減らすと正しく測れる
- 満点に近いほど、モデルが未知のデータにもよく当てはまることが確かめられている
- 評価の指標が多すぎるので、指標を1つに絞れば正しく測れる
- 見たラベルを覚えただけのモデルでも満点になり、初めて見る入力への性能が分からない
正解と解説を見る
正解: D
正解の理由
scikit-learn の解説は、予測関数のパラメータを学習し、同じデータでテストするのは方法上の間違いだと述べている。見たばかりのサンプルのラベルをそのまま繰り返すモデルは満点を取るが、まだ見ていないデータの予測はまったくできない。この状態を過学習と呼ぶ。評価は、学習に使っていないデータで行う。
違う選択肢
「満点に近いほど、モデルが未知のデータにもよく当てはまることが確かめられている」… 学習に使ったデータでの結果は、未知のデータへの当てはまりの証拠にならない。ラベルを覚えただけでも満点になる。
「学習データが多すぎるので、学習データの量を減らすと正しく測れる」… 問題は学習データの量ではなく、評価に学習と同じデータを使ったことにある。量を減らしても、同じデータで測れば同じ問題が残る。
「評価の指標が多すぎるので、指標を1つに絞れば正しく測れる」… 問題は指標の数ではなく、評価に使ったデータにある。指標を1つに絞っても、学習に使ったデータで測る限り、未知のデータへの性能は分からない。
押さえどころ
過学習は、学習データには合うが未知のデータでは通用しない状態。学習に使ったデータでの精度は、汎化性能の証拠にならない。評価は学習に使っていないデータで行う。