G検定（ジェネラリスト検定） 無料問題 3 / 10 ・ 分野3: 機械学習の概要
同じ本の6章の崖歩き（Cliff Walking）の例は、ε-greedy の行動選択のもとで Sarsa と Q 学習を比べている。本の記述として適切なものはどれか。
- Q 学習は崖の縁を通る最適な方策の価値を学び、オンラインの成績も遠回りを学ぶ Sarsa より上
- Sarsa は行動選択を考えに入れて崖の縁を通る最適な道を学び、両方の手法で最も高い成績を出す
- 崖の縁を通る最適な方策の価値を学ぶのは Sarsa のほうで、成績では遠回りを学ぶ Q 学習が勝る
- Q 学習は崖の縁を通る最適な方策の価値を学ぶが、オンラインの成績は遠回りを学ぶ Sarsa が上
正解と解説を見る
正解: D
正解の理由
本は、崖歩きの例で、ε=0.1 の ε-greedy の行動選択のもとで Sarsa と Q 学習を比べる。はじめの過渡的な時期の後、Q 学習は崖の縁に沿って進む最適な方策の価値を学ぶが、ε-greedy の行動選択のために、ときどき崖から落ちる。Sarsa は行動選択を考えに入れ、格子の上のほうを通る長いが安全な道を学ぶ。Q 学習は最適な方策の価値を学ぶものの、オンラインの成績は、遠回りの方策を学ぶ Sarsa より悪い、と書く。ε を少しずつ小さくすれば、どちらも最適な方策に漸近的に収束する。
違う選択肢
「Q 学習は崖の縁を通る最適な方策の価値を学び、オンラインの成績も遠回りを学ぶ Sarsa より上」… Q 学習が最適な方策の価値を学ぶ点は合うが、オンラインの成績は Sarsa より悪い。崖の縁を通るので、探索の行動でときどき落ちる。
「崖の縁を通る最適な方策の価値を学ぶのは Sarsa のほうで、成績では遠回りを学ぶ Q 学習が勝る」… 役割が逆である。最適な方策の価値を学ぶのは Q 学習で、遠回りを学ぶのは Sarsa である。
「Sarsa は行動選択を考えに入れて崖の縁を通る最適な道を学び、両方の手法で最も高い成績を出す」… Sarsa が学ぶのは遠回りの安全な道で、崖の縁を通る最適な方策ではない。
押さえどころ
Q 学習は、次の状態で最も価値の高い行動をとると仮定して更新する方策オフ型、Sarsa は実際に選んだ次の行動で更新する方策オン型である。探索を続けたまま成績を上げたい場面では、探索の影響を学ぶ Sarsa が安全な行動を選ぶ。