医療系AIエンジニアの技術メモ

ディープラーニング(主に画像系)の技術メモブログです

Mask Scoring R-CNN

スポンサーリンク


f:id:y_kurashina:20190321150140j:plain
Fig1. Mask R-CNNとMS R-CNNによるInstance Segmentation

論文URL

https://arxiv.org/pdf/1903.00241.pdf

2019年3月公開

ポイント

  • Instance segmentationを行うMask R-CNNを改良したMask Scoring R-CNN(MS R-CNN)を提案
  • Mask R-CNNの問題点
    • 物体認識スコアが高くても、segmentation maskの質が悪い(=Ground TruthとのIoUが低い)ことがある(Fig1.の左側4枚の図)
  • MS R-CNNでは、Mask R-CNNにmask IoUの推論ブロックを追加し、クラス分類スコアにマスクの推論IoUをかけた結果を物体認識スコアとする
  • COCO2017による評価では、バックボーン等の設定に寄らず、物体検出性能、セグメンテーション性能ともに向上

MS R-CNN

  • RoI Alignの結果得られる特徴量とMask Headで得られるsegmentation maskを結合(concat)しMaskIoU Headに入力
  • MaskIoU HeadはGround TruthとのIoUを推論
  • 物体認識スコアs _ {mask}=s _ {cls}\times s _ {iou}
    • s _ {cls}:RCNN Headが出力するクラススコア
    • s _ {iou}:MaskIoU Headが出力するIoU

f:id:y_kurashina:20190321154106j:plain
Fig2. Mask Scoring R-CNN