G検定（ジェネラリスト検定） 無料問題 6 / 10 ・ 分野6: ディープラーニングの応用例
Devlin ほかの2018年の論文（BERT）の要旨が述べる、事前学習の仕方と、課題への使い方の組み合わせはどれか。
- 単語ごとに固定のベクトルを事前学習し、課題ごとに再帰型のネットワークを一から学習させて使う
- 各層で左右の文脈を同時に条件にするが、事前学習には課題ごとにラベルを付けたデータを使う
- 左から右への一方向の文脈で深い表現を事前学習し、課題ごとに専用の構造を大きく作り込んで使う
- 各層で左右の文脈を同時に条件にして双方向の表現を事前学習し、課題ごとには出力層を1つ足して微調整する
正解と解説を見る
正解: D
正解の理由
要旨は、BERT（Bidirectional Encoder Representations from Transformers）を、最近の言語表現のモデルと違って、ラベルの無いテキストから、すべての層で左右の文脈を同時に条件にして深い双方向の表現を事前学習するように設計したと書く。その結果、事前学習した BERT に出力層を1つ足して微調整するだけで、課題ごとの構造を大きく変えずに、質問応答や言語推論などの幅広い課題で最良のモデルを作れる。11の自然言語処理の課題で最良を更新し、GLUE の点数を 80.5% に押し上げたという。
違う選択肢
「左から右への一方向の文脈で深い表現を事前学習し、課題ごとに専用の構造を大きく作り込んで使う」… 一方向の文脈で学ぶのは、要旨が対比した最近の言語表現のモデル（GPT など）の形である。BERT は課題ごとの構造を大きく変えずに使える点を売りにする。
「各層で左右の文脈を同時に条件にするが、事前学習には課題ごとにラベルを付けたデータを使う」… 双方向の点は合っているが、要旨は事前学習にラベルの無いテキストを使うと書く。ラベル付きのデータを使うのは、課題ごとの微調整の段階である。
「単語ごとに固定のベクトルを事前学習し、課題ごとに再帰型のネットワークを一から学習させて使う」… 単語ごとの固定のベクトルは BERT の表現ではない。BERT は文脈ごとに変わる深い表現を事前学習し、課題には出力層を足して微調整する。
押さえどころ
BERT の事前学習は、文の一部の語を隠して当てる課題（マスク言語モデル）と、2つの文が続くかを当てる課題で行う。隠した語を左右の両方の文脈から当てるので、深い双方向の表現が学べる。