医療系AIエンジニアの技術メモ

ディープラーニング(主に画像系)の技術メモブログです

Probabilistic End-to-end Noise Correction for Learning with Noisy Labels

* 分類問題において教師ラベルのアノテーションミスを推定し、ミスを修正したラベルによりモデルを学習するPENCIL(probabilistic end-to-end noise correction in labels)フレームワークを提案 * 数十%の大量のミスラベルが有っても一定の性能を確保してい…

Robust Histopathology Image Analysis: to Label or to Synthesize?

* 組織病理画像を用いた細胞核セグメンテーション時のGANによるaugmentation手法の提案 * 細胞核の検出は病理学で最も基本的なステップであるものの、様々な状態(癌の種類、細胞の状態、観察組織片の作成方法、画像化手法等)を網羅する教師データを作成する…

Decoders Matter for Semantic Segmentation : Data-Dependent Decoding Enables Flexible Feature Aggregation

* 入力データに応じたupsamplingを行うData-dependent Upsampling (DUpsampling)レイヤーを提案 * 通常使用される共一次補間(bilinear)では低解像度の情報から高解像度の情報を復元することができない。 * 入力テンソルのチャンネル情報を効果的に利用し、低…

Generative Adversarial Minority Oversampling

* conditional GANによりデータ数が少ないクラスの水増しを行うGAMO(Generative Adversarial Minority Oversampling)を提案 * Discriminatorだけでなく、クラス分類モデルも騙せるデータをGeneratorで生成する * Discriminatorとモデルの両方を騙すためには…

Cascaded Generative and Discriminative Learning for Microcalcification Detection in Breast Mammograms

* マンモグラフィー画像から微小石灰化領域(microcalsification)のセグメンテーションを行うモデルを提案 * 微小石灰化領域は1mm程度(14画素)以下の小さい領域(Fig1) * 始めにAnomaly Separation Network (ASN)で異常領域を抽出する。 * 微小石灰化領域だけ…

Learning to Learn from Noisy Labeled Data

* 質が悪い(一部のラベルが間違っている)教師データを想定し画像分類を行うmeta-learning based noise-tolerant (MLNT) 学習法を提案 (Fig1) * あえて学習中に正解ラベルを間違ったラベルに付け替えながら、複数のStudent modelを学習 * Teacher modelとStud…

Collaborative Global-Local Networks for Memory-Efficient Segmentation of Ultra-High Resolution Images

* 超高解像度画像に対し省メモリかつ高性能なセグメンテーションを行うGLNetおよびCoarse-to-Fine GLNetを提案 * 2Kや4K画像の様な数Mピクセルの画像をターゲットにした研究 * これまでに良く採られている方法とその問題点 * 入力画像を低解像度化 : 精細な…

Towards Accurate One-Stage Object Detection with AP-Loss

* 1stage detectorでは、オブジェクトと背景のボックス数の極端なアンバランスを如何に克服するかが問題となる。このアンバランスに対処する新たな損失関数AP Lossを提案 * 物体検出の典型的な評価指標であるAverage Precision (AP) をベースに損失関数を設…

Attentive Feedback Network for Boundary-Aware Salient Object Detection

* Salient object detection(画像中の注目物体検出)を題材に、精細な物体境界が得られるAFNetを提案 * 以下のモジュールおよび損失関数を導入 * Global Perception Module(GPM) * Attentive Feedback Module(AFM) * Boundary Enhanced Loss(BEL) * AFNetでは…

Global Second-order Pooling Convolutional Networks

* [SE Block](https://www.ai-engineer-memo.com/entry/2019/02/05/010030)のような自己注意ブロックGSoP Block(Global Second order Pooling Block)を提案 * cSE Block(spatial squeeze and channel excitation)では空間成分をGlobal Average Pooling(平均)…

Hybrid Task Cascade for Instance Segmentation

* COCO 2018 Challenge Object Detection Taskにて1位になったネットワークHTC(Hybrid Task Cascade)を提案 * HTCはインスタンスセグメンテーション用ネットワーク * Mask R-CNNをベースとし、RPN以降の構造をカスケード化 * bounding box検出用特徴量、イン…

Deformable ConvNets v2: More Deformable, Better Results

* deformable convolution / ROI poolingの改良版(v2)を提案 * v1では通常の畳み込み or ROI Pooling時に演算対象画素 or ROIビンの位置を入力特徴量マップの値に応じて修正していた * 位置の修正だけではオブジェクトに関係ない範囲にまで演算対象画素 or R…

Learning Active Contour Models for Medical Image Segmentation

* Cross Entropy LossやDice Lossでセグメンテーションモデルを学習した場合、画素単位でLossが評価されるため、Lossが十分小さくなってもラベル境界形状が不明瞭でノイジーな状態になりうる。 * 損失関数内に境界形状に関する損失項が存在しないため * 境界…

Learning Multi-Class Segmentations From Single-Class Datasets

* 医療分野のセグメンテーションデータセットは特定臓器のみの単一クラスデータとなっていることが多い * Fig1(b)は肝臓データセット:Sliver07 * Fig1(c)は膵臓データセット:NHI Pancreas * Fig1(d)は肝臓と脾臓のデータセット:著者が独自に用意したデー…

Deep Learning–Assisted Diagnosis of Cerebral Aneurysms Using the HeadXNet Model

* CTA画像(造影剤を使用して血管を撮像したCT画像)から脳動脈瘤をsegmentationするモデルHeadXNetを作成 * 医学系の論文では珍しくAIモデルの作りこみに様々な工夫がみられ、co-senior authorとしてAndrew Ngが入っている影響を強く感じた。 * HeadXNetの性…

Objects as Points

* 多くの物体検出モデルでは、大量の物体候補領域を抽出し、NMS(Non-Maximum Suppression)により最終的な物体位置を選択している。 * 本論文で提案されたCenterNetでは、候補領域ではなく、物体中心位置を直接推定する * NMSが不要になり、高速で高精度なモ…

Stacked Hourglass Networks for Human Pose Estimation

* Fig1のように砂時計(Hourglass)型モジュールを繰り返し、人間の姿勢推定を行うネットワークStacked Hourglass Networkを提案 * encodeとdecodeを繰り返すことで広域的な特徴と局所的な特徴を何度も混ぜ合わせている * 個々のHourglassモジュールごとに姿勢…

Deep Layer Aggregation

* ResNetで導入されたresidual blockのような"浅い"skip connectionに留まらず、より"深い"aggregationを導入し、パラメータ数や演算回数の観点でより効率的なモデルDLA(Deep Layer Aggregation)を提案 * DLAでのaggregation nodeでは、出力層の異なる特徴量…

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

* モデルのスケールアップを行う場合、既存研究ではwidth(特徴量マップのチャンネル数)、depth(モデルの層数)、resolution(入力画像解像度)のいずれか1つもしくは2つだけ大きくすることが大半であったのに対し、本論文では3つのパラメータを同時に大きくする…

Deformable Convolutional Networks

* deformable convolutionとdeformable RoI poolingを提案 * 入力特徴マップの値に応じて、演算する画素を動的に変更する * 畳み込み層の場合、入力画素位置が変わる * Fig1(a)は3x3の通常の畳み込み層を2回行う場合のreceptive fieldの概念図 * Fig1(b)はde…

AUTOMATED PULMONARY NODULE DETECTION USING 3D DEEP CONVOLUTIONAL NEURAL NETWORKS

* CT画像からの肺結節検出 * アリババの2017年TianChi AI Competition for Healthcareで1位となったネットワーク * 2887チームが参加 * 検出モデル 1. U-Net風の3D Faster R-CNN(Fig1)で候補領域を検出 1. 検出領域中心周りの64x64x64領域を入力をFig2の3D D…

SEARCHING FOR ACTIVATION FUNCTIONS

* Google Brainが強化学習で生成した活性化関数Swishを提案 * [tex:Swish(x) = x \cdot sigmoid(\beta x)] * [tex:\beta \rightarrow \infty]の極限ではReLUと一致する * [tex:\beta]は学習可能だが、[tex:\beta = 1]としても汎化性能に有意差無し。 * [tex:…

Attention Augmented Convolutional Networks

* 画像の特徴量マップを算出するAttention Augmentation(AA)ブロックをGoogle Brainが提案 * 機械翻訳等のシーケンスデータを扱う[Transfomer](https://arxiv.org/pdf/1706.03762.pdf)に、空間並進普遍性を考慮する項を追加 * Transformerでは注意を向けるべ…

DropBlock: A regularization method for convolutional networks

* 畳み込み層用正規化手法DropBlockをGoogle Brainが提案 * dropoutを拡張した正規化手法で、ランダムな画素をマスクする(Fig1(b))のではなく、ランダムな領域をマスクする(Fig1(c)) * dropoutは全結合層に対し適用すると効果が高いが、畳み込み層の特徴量マ…

Regularized Evolution for Image Classifier Architecture Search

* Google Brainが進化アルゴリズムにより画像分類モデルAmoebaNet-Aを作成 * NAS-NetやPNASNetは強化学習でモデルが作成されている * モデルの探索空間はNAS-Netと同じ * 強化学習よりも短時間で高精度のモデルを作成できている

Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation

* 医療データのsegmentation * 網膜の血管検出 * 皮膚癌の病変部検出 * 肺の検出 * U-Netの畳み込み層に再帰構造とresidual構造を加え、F1スコアが1~2%程度改善 * 再帰構造のみ加えたモデルをRU-Net、residual構造も加えたモデルをR2U-Netと呼んでいる

Attention U-Net: Learning Where to Look for the Pancreas

* CT画像を用いた腹腔内臓器(膵臓、腎臓、脾臓)segmentation * 3D U-Netにattention構造を追加 * 基本的なアイデアは[scSE-Net](https://ai-engineer-memo.hatenablog.com/entry/2019/02/05/010030)のsSEブロックと同様、空間ピクセルごとにattention gateを…

Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution

* 畳み込み層に代わるOctave Convolution (OctConv)層をFacebook AIが提案 * 特徴量マップを空間上の高周波成分と低周波成分に分け、低周波成分を低解像度化しておくことで、メモリ使用量と計算コストを削減 * パラメータ数は通常の畳み込み層と変わらないこ…

NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection

* Google Brainが強化学習でモデル構造を決定した物体検出モデル * ベースは[RetinaNet](https://arxiv.org/pdf/1708.02002.pdf) * Feature Pyramid Network (FPN)ブロックの組み合わせを強化学習で生成 * 得られた組み合わせは、FPNブロックを増やすほど精…

Artificial Intelligence–Based Breast Cancer Nodal Metastasis Detection

* 病理画像(HE染色画像)から乳がんを検出するモデルLYNA(LYmph Node Assistant)をGoogle Brainが作成 * 技術的には[FCN](https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf)登場前夜にしばしば目にしたパッチベースのクラス分類を採用 …