E資格（エンジニア資格） 無料問題 8 / 10 ・ 分野4: 深層学習の応用
DQN が経験再生（experience replay）を使う主な理由として、論文が述べているものはどれか。
- 報酬の値を0〜1に正規化して、学習を安定させる
- 行動の選び方を貪欲な方策に固定して、探索を止める
- ネットワークの層の数を減らして、計算量を小さくする
- 連続する遷移の相関を弱め、データを再利用する
正解と解説を見る
正解: D
正解の理由
DQN は、エージェントの遷移（状態・行動・報酬・次の状態）をメモリに蓄え、学習のたびにランダムに取り出して更新に使う。連続する遷移は強く相関しているので、ランダムに取り出すと相関が弱まり、学習が安定する。また、1つの遷移を複数回の更新に再利用でき、データの効率がよい。
違う選択肢
「報酬の値を0〜1に正規化して、学習を安定させる」… 報酬の値の範囲の調整（クリッピング）は別の工夫で、経験再生の目的ではない。
「行動の選び方を貪欲な方策に固定して、探索を止める」… 行動の選び方は ε-greedy などで決める。経験再生は、貪欲な方策に固定するための仕組みではない。
「ネットワークの層の数を減らして、計算量を小さくする」… 経験再生は、ネットワークの構造とは関係がない。データの使い方の工夫である。
押さえどころ
Q 学習をニューラルネットワークで行うと、データの相関と、目標値が学習中に変わる不安定さで学習が発散しやすい。DQN は、経験再生とターゲットネットワークで、この2つに対処した。