G検定（ジェネラリスト検定） 無料問題 5 / 10 ・ 分野5: ディープラーニングの要素技術
Transformer の論文は、1つの attention の関数の代わりに、クエリ・キー・バリューを h 通りに線形に射影して並列に attention を計算する Multi-Head Attention を使う。論文がその利点として述べるものはどれか。
- 頭の数だけ計算の量は増えるが、系列の長さに比例する計算で長い文を扱えるようになる
- 頭ごとに別の語順を受け持たせるので、位置エンコーディングの代わりに単語の順序を区別できる
- 異なる位置の、異なる表現の部分空間の情報に同時に注意を向けられ、1つの頭の平均で失うものを保てる
- 頭ごとに別の層の出力を受け取るので、スキップ結合の代わりに深いモデルの学習を支えられる
正解と解説を見る
正解: C
正解の理由
論文は、Multi-Head Attention によって「モデルは、異なる位置の、異なる表現の部分空間の情報に同時に注意を向けられる。1つの注意の頭では、平均することがこれを妨げる」と書く。各頭は dmodel より小さい次元に射影して計算するので、全体の計算量は、元の次元のまま1つの頭で計算する場合と同程度に収まる、とも述べる。頭ごとに別の射影を学ぶので、ある頭は近くの語、別の頭は文法の関係のある語に注意を向けるといった分担が生まれうる。
違う選択肢
「頭の数だけ計算の量は増えるが、系列の長さに比例する計算で長い文を扱えるようになる」… 論文は、各頭の次元を小さくするので全体の計算量は1つの頭と同程度だと書く。注意の計算は系列の長さの2乗に比例し、頭を増やしても長さに比例する計算にはならない。
「頭ごとに別の語順を受け持たせるので、位置エンコーディングの代わりに単語の順序を区別できる」… Transformer は再帰も畳み込みも使わないので、語順は位置エンコーディングで与える。頭を分けても、頭ごとに語順を受け持つ仕組みは無い。
「頭ごとに別の層の出力を受け取るので、スキップ結合の代わりに深いモデルの学習を支えられる」… すべての頭は同じ層の入力を受け取り、射影の仕方だけが違う。Transformer は深いモデルを学習させるために、各層にスキップ結合と正規化を置いている。
押さえどころ
Transformer は、エンコーダとデコーダのそれぞれで Self-Attention を使い、デコーダでは Source-Target Attention で原文の側も見る。再帰を使わないので系列の全部の位置を並列に計算でき、学習が速い。語順は、正弦波の位置エンコーディングを入力の埋め込みに足して与える。