E資格（エンジニア資格） 無料問題 9 / 10 ・ 分野5: 開発・運用環境
8個の重み [0.9, −0.05, 0.4, −0.7, 0.02, 0.3, −0.15, 0.6] に、絶対値の小さいものから 50 %（4個）を 0 にする大きさに基づくプルーニング（magnitude pruning）を行った。0 にされずに残る重みの絶対値の合計に最も近い値はどれか。
- 3.05
- 2.60
- 0.52
- 3.12
正解と解説を見る
正解: B
正解の理由
絶対値の小さい順に並べると 0.02、0.05、0.15、0.3、0.4、0.6、0.7、0.9 である。下位 4 個（0.02、0.05、0.15、0.3）を 0 にすると、残るのは 0.9、0.4、−0.7、0.6 で、絶対値の合計は 0.9 + 0.4 + 0.7 + 0.6 = 2.6 になる。重要度の低い（絶対値の小さい）結合を取り除くのが、大きさに基づくプルーニングである。
違う選択肢
「0.52」… 0.52 は、0 にされる側（0.02 + 0.05 + 0.15 + 0.3）の合計である。残るのは絶対値の大きい側である。
「3.05」… 3.05 は、0 にする個数を 2 個（25 %）にした場合の残りの合計である。50 % なので 4 個を 0 にする。
「3.12」… 3.12 は全部の絶対値の合計で、0 にした後の値になっていない。プルーニングで重みが減るので、合計は小さくなる。
押さえどころ
プルーニングは、学習済みのネットワークから重要でない結合を取り除いて、モデルを小さく、速くするエッジ向けの軽量化の手法である。PyTorch の torch.nn.utils.prune では amount に割合か個数を渡す。取り除いたあとは、精度を戻すために再学習（ファインチューニング）するのが一般的である。