医療系AIエンジニアの技術メモ

ディープラーニング(主に画像系)の技術メモブログです

Squeeze-and-Excitation Networks

スポンサーリンク


f:id:y_kurashina:20190203234805j:plain
Fig 1. Squeeze-and-Excitation block

論文URL

https://arxiv.org/pdf/1709.01507.pdf

2017年9月公開

ポイント

  • ILSVRC2017画像分類コンペティションで1位となったモデル
  • 任意のCNNモデルにAttension&gating機構を追加できるSE blockを提案
    • 畳み込み層で計算された特徴量をそのまま使用するのではなく、入力画像に応じて有効な特徴量チャンネルを制御
    • 計算コストの増加は1%程度(厳密には、SE blockをかますバックボーンモデルの計算コスト次第)
    • Top-1 error等の性能は概ね1%程度改善

“Squeeze-and-Excitation” (SE) block

f:id:y_kurashina:20190204004750j:plain

Fig 2. Residual blockにSE blockをかませた例

  1. Squeeze : 特徴量を絞り上げる(Fig 1. のFsq())
    Global Average Poolingにより1x1xC次元の特徴量を計算
  2. Excitation : 有用なチャンネルを励起(Fig 1. のFex())
    • bottleneck機構で有効なチャンネルの重みを計算
      • Squeeze層の出力を全結合層にかけ C/r 次元ベクトルに圧縮
        (rはハイパーパラメータ)
      • ReLUにかけた後、再び全結合層にかけ C 次元ベクトルに戻す
      • 上記 C 次元ベクトルをsigmoidにかけ、0~1の重みに変換
  3. SE Blockの出力 C 次元ベクトルを入力特徴量テンソルの各チャンネルに掛け合わせる(Fig 1. のFscale())

関連情報

ai-engineer-memo.hatenablog.com