多级卷积神经网络的胰腺自动分割 - 图文

基于多级深度卷积网络的胰腺自动分割

摘要：器官自动分割是医学图像分析的一个重要而具有挑战性的问题。胰腺是腹部具有非常高的解剖变异性的器官。 用之前肝肾脏或者心脏的分割方法很难达到很高的精确度。在本文中，我们提出了一个用多级卷积网络基于概率的自下而上的方法对腹部CT图像的胰腺进行自动分割。我们提出并评估几个深度卷积网络在分层上的变异，在图像块和区域上的粗到细的分类器例如超像素。首先我们通过(P-ConvNet)卷积网络和近邻融合方法呈现出一个局部图像块的密集标签。然后我们描述一个局部卷积网络（R1-ConvNets）即在不同规模的缩小的区域中的围绕每一个图像超像素采集一系列边界框。（我们的卷积网络学会为每个胰腺的超像素区域分配类概率）。最后，我们利用CT强度的连接空间和P-ConvNet密度概率图学习一个堆叠的R2-ConvNets。3D的高斯去噪和2D的条件随机场用来后处理的预测。我们用4倍交叉验证评价82个病人的CT图像。我们实现了戴斯相似系数在训练时83.6±6.3%在测试时71.8±10.7%。 1、引言

胰腺的分割是计算机辅助诊断系统(CADx)的前提提供了器官单元的量化分析，例如糖尿病患者。精确分割对于计算机辅助诊断发现胰腺癌也是非常重要的。大量器官的CT图像的自动分割例如肝肾脏和心脏都做

的很好，戴斯相似系数能达到90%以上在[1,2,3,4]中实现了。但是在实现高精度的胰腺自动分割任务中还存在很大的挑战。胰腺的形状尺寸和在腹部的位置在病人之间是多种多样的。胰脏周围的内脏脂肪和胰脏的边界在CT图像中会导致对比度的大的变化（见图3）。之前的方法报告的结果指标只有DSCs46.6%-69.1%[1,2,3,5]。最近，大量的标记数据集可用性和通过GPU的可承受的并行计算资源使训练深度卷积网络进行图像分类变得很容易。自然图像的分类的进步已经实现[6]。然而，深度卷积网络在图像的语义分割上还没有研究的很好[7]。将卷积网络用于医学图像应用也是用于很好的检测任务中[8,9]。在本文中，我们将拓展和探索卷积网络去挑战器官分割问题。 2、方法

我们提出了一个逐步修剪的由粗到细的分类方案进行胰脏分割。和之前自上而下的多图集配准和标签融合方法相比较，我们的模型是从下往上解决问题：先从块状图像的密集标签到区域再到整个器官。给出一个腹部CT， 通过之前提出的基于随机森林的胰脏分割[5]的粗级联过程生成超像素区域的初始集合。这些预分割的超像素作为高敏感度但是低精度的区域候选。初始的结果DSC为平均27%。然后我们提出和评价几个卷积网络的变化进行分割细化。一个密集的局部图像块标签用轴向冠状失量面在区域上以滑动窗口的形式查找。这就产生了一个每个位置概率反应图P。一个区域卷积网络采集一系列边界框覆盖每一个图像超像素在一个缩小的多尺度空间[7,10]，同时分配胰脏组织的概率。这就意味着我们不仅近距离看超像素 ，而且会给每一个候选区域逐渐的增加范

围。R2-ConvNets直接在CT强度上操作，最后利用CT强度的联合卷

积特征和P概率图学习一个堆叠的R2-ConvNets。3D的高斯去噪和2D的条件随机场用来后处理的预测。我们用4倍交叉验证评价82个病人的CT图像（不是缺一验证法[1，2，3]）。我们提出的几个新卷积模型比目前最新型的方法要好测试的DSC为71.8。据我们所知，这是现有文献报告数据的最高DSC。 2.1候选域生成

我们描述了一种多级深度神经网络模型的从粗到细的胰腺分割方法。我们的分层分割方法将任何输入CT图像分解成一组局部图像超像素

。在评价几个图像区域生成方法[11]之后，我们选

择熵率从轴向切片来提取N个超像素。这个过程是基于DSC标准给出的最佳超像素标签，一部分受到PASCAL语义分割竞赛[13]的启发。最佳超像素标签实现了一个DSC的上限，并用于下面的有监督学习。接下来我们用一个两级串联的随机森林分类器[5]。我们仅仅在一个很低的类概率切>0.5操作RF标签，可以达到拒绝大量的非胰腺超像素。这保留了一组低精度高召回（>97%）的超像素

。在初步候选

生成之后，以27%的低DSC预计和观察过度分割。最优超像素标签受到超像素在DSC为80.5%的每一个像素水平捕获到正确的胰腺边界的能力限制，但是仍然比现存水平高很多[1,2,3,5]。这些超像素标签被用来评估阳性和阴性超像素例子用来训练。分配图像区域大大减少了卷积网络的观测量需要每一个CT单元和单纯的基于块的方法比较来

得到更多的平衡的训练数据集。我们的多级深度卷积神经网络会有效的修剪粗糙的胰腺过度分割来提高最后DSC的测量结果。 2.2卷积神经网络的搭建

我们用二进制图像分类的结构的卷积神经网络。五层卷积过滤器计算和汇总图像特征。其它层是卷积神经网络的最大池化层或者由全连接神经网络组成。我们的卷积神经网络以最后的双向层softmax对胰腺和非胰腺进行分类（如图1）。全连接层受DropOut限制为了防止过拟合在训练中作为一个归一化因子[14]。GPU加速允许有效的训练。

图1.提到的卷积神经网络结构。卷积滤波器的数目和神经网络的每层连接都展示出来了。 对于本文提到的所有的ConvNet变形这个结构都是永恒不变的。（除了输入P-ConvNet,R1-ConvNet,R2-ConvNet）.

2.3 P-ConvNet：深度块分类

我们用滑动窗口的方法提取2.5D图像块由轴向冠状失量面组成包含超像素区域

初始集的所有体素（图3）。神经网络的概率结

果此后定义为P0。因为很多的原因，我们每n个体素提取一个块然后应用最近邻近插值法。由于P0的高品质似乎已经足够了，重叠的块应用去评估跳过的体素的价值。

2.4 R-ConvNet：深度区域分类

我们用区域候选作为输入。每一个超像素会在多个尺度 Ns下进行观察随着周边背景数量的增加（图4）。多尺度背景对于消除复杂的腹部解剖结构很重要。我们研究了两种方法：R1-ConvNet仅看从多尺度超像素区域提取出来的CT强度图像，一个堆叠的R2-ConvNet融合了一个额外的信道每个区域块级别响应图P0作为输入。作为一个超像素会有不规则的形状，我们包装每一个区域变成一个规则的正方形（相似于RCNN[10]）因为大部分神经网络对于数据的执行都需要。ConvNet从可用的数据中自动的训练他们的卷积滤波器核。训练第一层卷积滤波器的例子P?ConvNet, R1?ConvNet, R2?ConvNet在图2中展示。深度卷积神经网络作为有效的图像特征提取器总结了用于分类的

多尺度图像区域。

2.5数据增加

我们的神经网络模型以不同尺度在每一个超像素的边界框采样。在训练时，我们随机的应用非刚性形变t去产生更多的数据实例。选择变形的程度，由此产生的扭曲图像类似于医学图像的合理的物理变化。这种方法通常被提及作为数据增加可以帮助防止过拟合[6,8]。每一个非刚性训练变形t通过薄板样条拟合来计算形成一个普通的2D控制点网格。这些控制的点随着采样窗口随机的变换，一个变形的图像由径向基核函数生成置转换，

，

是x的位

是一组映射系数。

2.6多尺度和3D概率聚合

在测试时，我们以不同尺度评价每一个超像素。每一个超像素是胰腺的概率计算分数是平均跨尺度：

。然后

每个超像素神经网络的分类评价结果p1和p2直接分配给每一个像素和体素。这个过程形成了两个基于体素的概率图P1和P2。其次，我们进行3D高斯滤波以平均和平滑卷积神经网络概率评分交叉 CT切片和内层切片邻域。3D各向同性高斯滤波能应用到任何Pk（x）形成圆滑的G（Pk（x））。把基于切片的2D概率传播到考虑局部邻域的3D概率是一个简单的方法。在本文中，由于一般性问题和计算效率问题我们不在3D超体素上工作。我们还探索了条件随机场用一个附加的卷积神经网络训练成对的邻域超像素来探索胰腺的边缘（成对的超像素有相同或者不同的对象标签来定义）。这作为R2?ConvNet给出的拥有区域项的边界项为了执行最小切割或最大流动的分割[15]。Z

在这，条件随机场作为一个直接邻域超像素连接的2D图来执行。边界和一元区域的条件随机场权重系数由网格搜索来校准。 3结果和讨论

数据：82个造影剂增强的腹部胰腺手动追踪CT用有经验的放射科医生提供。我们的实验用4倍交叉验证即随机的将82个病人分成四组21,21,20,20进行训练和测试。我们对训练和测试的分割精度结果都进行报告。之前的方法是用留一交叉验证协议[1,2,3]但是计算量很大（如处理一个案例需要很大的工作空间[1]）面对大量的病人没有办法大规模的有效计算。每个测试组有更多的病人的结果就更能代表大的人群组。

评价：超像素标签的真值在2.1中描述过了。最优的 超像素分类DSC指数为80.5%。此外，训练数据人为的增加了通过

数据增

??3加的方法即2.5。我们取Ns?4，Nt?8。在测试时我们用Ns?4，

体素来计算平滑概率图。通过调整我们的操作，初始的超像

素候选标签在测试时实现了平均DSCs仅仅26.1%；但是有97%的敏感性覆盖了所有的胰腺体素。图5展示了我们提到方法的DSC平均曲线，这是在训练和测试的一倍交叉验证得到的PK(X)和G(PK(X))。简单的3D平滑在所有的案例中提高了平均DSC。最好的平均DSC结果是在P0?0.2，P1?0.5，P2?0.6时3D高斯平滑之后得到的。这些校准操作点固定不变然后用在测试一倍交叉验证中获得的结果在表1中。在用R2?ConvNet时我们得到了最后的平均DSC7.8%在测试时，和候选区生成阶段的26.1%我们提高了45.7%。即使G(P0(X))和

G(P2(X))的DSC差距很小，但是误差却从

提高到了

，在这个点进行胰腺分割的一个例子可以在图6中看到。

由于尺度Ns测试时的运行时间一个CT在1-3分钟。2.1中的候选区

生成需要多花5分钟。

据我们所知，我们的工作做出了最高的平均DSC即71.8%在测试时。注意到这是对之前缺少公开的可用的基准数据集方法的一个直接对比。我们会分享我们的数据和代码在未来的比较中。我们的方法从训练的

降低到测试的

在看不见的数据下深

度卷积网络展示了很好的结果。我们的最大测试表现为DSC86.9%。最小DSC评价这些值是G(P2(X))的25%。然而[1235]中的报告在分割时的数据甚至低于10%。最后是变异的个增强一个结构预测的CRF模型实现了仅仅是由于G(P0)和G(P2)已经有高质量的对比了。

它是P2(X)的一

。这可能

图注：4倍交叉验证：最佳实现的DSCs，我们最初的候选区域标签用

SRF，DSC在P(X)核平滑后的G(P(X))，以及结构预测的CRF模型。

4结论

我们提出了一个由下到上，由粗到细的方法进行腹部CT图像的胰腺分割。多级深度卷积网络用于图像块和区域。我们实现了最高的DSCs 在训练时的

在测试时的

，只需要几分钟进

行计算而不是像[123]中的几小时。这种方法可以用于多种器官分割框架通过指出具体的组织类型因为卷积神经网络可以只给你吃多种种类的分类[6]。我们的基于深度学习的器官分割方法可以用于其他的有很大的变异和病变得分割问题，例如肿瘤。

参考文献

1. Wang, Z., Bhatia, K.K., Glocker, B., Marvao, A., Dawes, T., Misawa, K., Mori, K.,Rueckert, D.: Geodesic patch-based segmentation. In: Golland, P., Hata, N., Barillot,C., Hornegger, J., Howe, R. (eds.) MICCAI 2014, Part I. LNCS, vol. MICCAI,pp. 666?73. Springer, Heidelberg (2014)

2. Chu, C., et al.: Multi-organ segmentation based on spatially-divided probabilisticatlas from 3D abdominal CT images. In: Mori, K., Sakuma, I., Sato, Y., Barillot,C., Navab, N. (eds.) MICCAI 2013, Part II. LNCS, vol. 8150, pp. 165?72. Springer,Heidelberg (2013)

3. Wolz, R., Chu, C., Misawa, K., Fujiwara, M., Mori, K., Rueckert, D.: Automatedabdominal multi-organ segmentation with subject-specific atlas generation.TMI 32(9), 1723?730 (2013)

4. Ling, H., Zhou, S.K., Zheng, Y., Georgescu, B., Suehling, M., Comaniciu, D.: Hierarchical,learning-based automatic liver segmentation. In: IEEE CVPR, pp. 1?(2008)

5. Farag, A., Lu, L., Turkbey, E., Liu, J., Summers, R.M.: A bottom-up approachfor automatic pancreas segmentation in abdominal CT scans. MICCAI Abdominal Imaging workshop, arXiv preprint arXiv:1407.8497 (2014)

6. Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with

deep convolutional neural networks. In: NIPS, pp. 1097?105 (2012) 7. Mostajabi, M., Yadollahpour, P., Shakhnarovich, G.: Feedforward semantic segmentation with zoom-out features. arXiv preprint arXiv:1412.0774 (2014)

8. Cire竤an, D.C., Giusti, A., Gambardella, L.M., Schmidhuber, J.: Mitosis detection in breast cancer histology images with deep neural networks. In: Mori, K., Sakuma,I., Sato, Y., Barillot, C., Navab, N. (eds.) MICCAI 2013, Part II. LNCS, vol. 8150,pp. 411?18. Springer, Heidelberg (2013)

9. Roth, H.R., et al.: A new 2.5D representation for lymph node detection using random sets of deep convolutional neural network observations. In: Golland, P.,Hata, N., Barillot, C., Hornegger, J., Howe, R. (eds.) MICCAI 2014, Part I. LNCS,vol. MICCAI, pp. 520?27. Springer, Heidelberg (2014) 10. Girshick, R., Donahue, J., Darrell, T., Malik, J.: Rich feature hierarchies for accurate object detection and semantic segmentation. In: IEEE CVPR, pp. 580?87(2014)

11. Achanta, R., Shaji, A., Smith, K., Lucchi, A., Fua, P., Susstrunk, S.: Slic superpixelscompared to state-of-the-art superpixel methods. PAMI 34(11) (2012)

12. Liu, M.Y., Tuzel, O., Ramalingam, S., Chellappa, R.: Entropy rate superpixel segmentation. In: IEEE CVPR, pp. 2097?104 (2011)

13. Everingham, M., Eslami, S.A., Gool, L.V., Williams, C.K., Winn, J., Zisserman,A.: The PASCAL visual object classes challenge: A retrospective.

IJCV 111(1),98?36 (2014)

14. Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., Salakhutdinov, R.:Dropout: A simple way to prevent neural networks from overfitting. JMLR 15(1),1929?958 (2014)

15. Boykov, Y., Funka-Lea, G.: Graph cuts and efficient ND image segmentation.IJCV 70(2), 109?31 (2006)

本文来源：https://www.bwwdw.com/article/wjzw.html