G検定（ジェネラリスト検定） 無料問題 4 / 10 ・ 分野4: ディープラーニングの概要
Glorot・Bordes・Bengio の2011年の論文 "Deep Sparse Rectifier Neural Networks" の要旨は、整流（ReLU）の素子を使った深いネットワークを、ラベル付きの大きなデータで純粋に教師あり学習させるときについて、どう述べているか。
- 教師なしの事前学習を済ませてはじめて、最良の性能に届く
- 教師なしの事前学習を行わないままでも、最良の性能に届く
- 層の数を tanh のネットワークより減らしても、最良の性能に届く
- 重みを小さな正の値で初期化すれば、最良の性能に届く
正解と解説を見る
正解: B
正解の理由
要旨は、ロジスティックシグモイドより tanh のほうが多層ネットワークの学習に向くとしたうえで、整流（rectifying）の素子は、0 での硬い非線形と微分できない点があっても tanh のネットワークと同等以上の性能を出し、本当の 0 を含む疎な表現を作る、と書く。さらに、ラベル付きの大きなデータでの純粋な教師あり学習では、深い整流ネットワークは教師なしの事前学習を必要とせずに最良の性能に届く、と述べる。正の側では勾配がそのまま通るので、層を重ねても勾配が消えにくい。
違う選択肢
「教師なしの事前学習を済ませてはじめて、最良の性能に届く」… 要旨は逆に、教師なしの事前学習を「必要とせずに」最良の性能に届くと書く。事前学習が要るとされたのは、勾配が消えやすいシグモイドや tanh の深いネットワークを学習させるときの工夫だった。
「重みを小さな正の値で初期化すれば、最良の性能に届く」… 要旨は重みの初期値の決め方を条件にしていない。論じているのは素子の種類（シグモイド・tanh・整流）と、教師なしの事前学習が要るかどうかである。
「層の数を tanh のネットワークより減らしても、最良の性能に届く」… 要旨は層を減らすことを条件にしていない。深い（deep）整流ネットワークのまま、tanh のネットワークと同等以上の性能に届くことを示している。
押さえどころ
ReLU は入力が負なら 0、正ならそのまま出す関数で、0 では微分できないが、実装では片側の値を使えば困らない。負の側で出力も勾配も 0 になる性質が「疎な表現」を生む一方、学習中にずっと 0 のままの素子が出る弱点にもつながる。シグモイドの微分は最大でも 0.25 なので、層を重ねると勾配が小さくなりやすい。