基于深度学习的计算机辅助诊断系统在肺癌早期诊断中的应用与进展

刘婧 张莺

引用本文:
Citation:

基于深度学习的计算机辅助诊断系统在肺癌早期诊断中的应用与进展

Application and development of computer-aided diagnosis systems based on deep learning for the early diagnosis of lung cancer

    Corresponding author: Ying Zhang, zhangying5401@zju.edu.cn
  • 摘要: 胸部CT扫描是肺癌早期筛查和诊断的主要检查手段,应用于胸部影像诊断领域的基于深度学习的计算机辅助诊断(CAD)系统可对CT图像上的肺结节进行检测和分类。深度学习技术可提高CAD系统的性能,尤其是在提高肺结节检测的准确率和降低假阳性率方面。笔者就CAD系统中的深度学习模型在肺结节中的应用现状和研究进展作一综述。
  • [1] Bray F, Ferlay J, Soerjomataram I, et al. Global cancer statistics 2018: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries[J]. CA Cancer J Clin, 2018, 68(6): 394−424. DOI: 10.3322/caac.21492.
    [2] Zeng HM, Zheng RS, Guo YM, et al. Cancer survival in China, 2003-2005: A population-based study[J]. Int J Cancer, 2015, 136(8): 1921−1930. DOI: 10.1002/ijc.29227.
    [3] Hinton GE, Salakhutdinov RR. Reducing the Dimensionality of Data with Neural Networks[J]. Science, 2006, 313(5786): 504−507. DOI: 10.1126/science.1127647.
    [4] El-Baz A, Beache GM, Gimel'Farb G, et al. Computer-aided diagnosis systems for lung cancer: challenges and methodologies[J]. Int J Biomed Imaging, 2013, 2013: 942353. DOI: 10.1155/2013/942353.
    [5] Greenspan H, van Ginneken B, Summers RM. Guest Editorial Deep Learning in Medical Imaging: Overview and Future Promise of an Exciting New Technique[J]. IEEE Trans Med Imaging, 2016, 35(5): 1153−1159. DOI: 10.1109/TMI.2016.2553401.
    [6] Setio AAA, Ciompi F, Litjens G, et al. Pulmonary Nodule Detection in CT Images: False Positive Reduction Using Multi-View Convolutional Networks[J]. IEEE Trans Med Imaging, 2016, 35(5): 1160−1169. DOI: 10.1109/TMI.2016.2536809.
    [7] Armato III SG, McLennan G, Bidaut L, et al. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): A Completed Reference Database of Lung Nodules on CT Scans[J]. Med Phys, 2011, 38(2): 915−931. DOI: 10.1118/1.3528204.
    [8] Xie HT, Yang DB, Sun NN, et al. Automated pulmonary nodule detection in CT images using deep convolutional neural networks[J]. Pattern Recognit, 2019, 85: 109−119. DOI: 10.1016/j.patcog.2018.07.031.
    [9] Jin HS, Li ZY, Tong RF, et al. A deep 3D residual CNN for false-positive reduction in pulmonary nodule detection[J]. Med Phys, 2018, 45(5): 2097−2107. DOI: 10.1002/mp.12846.
    [10] Tang H, Kim DR, Xie XH. Automated pulmonary nodule detection using 3D deep convolutional neural networks [C]//Proceedings of the 2018 IEEE 15th International Symposium on Biomedical Imaging. Washington: IEEE, 2018: 523−526. DOI: 10.1109/ISBI.2018.8363630.
    [11] Qin YL, Zheng H, Zhu YM, et al. Simultaneous Accurate Detection of Pulmonary Nodules and False Positive Reduction Using 3D CNNs[C]//Proceedings of 2018 IEEE International Conference on Acoustics, Speech and Signal Processing. Calgary: IEEE, 2018: 1005−1009. DOI: 10.1109/ICASSP.2018.8462546.
    [12] Zhu WT, Liu CC, Fan W, et al. DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification[C]//Proceedings of 2018 IEEE Winter Conference on Applications of Computer Vision. Lake Tahoe: IEEE, 2018: 673−681. DOI: 10.1109/WACV.2018.00079.
    [13] Ciompi F, Chung K, van Riel SJ, et al. Towards automatic pulmonary nodule management in lung cancer screening with deep learning[J/OL]. Sci Rep, 2017, 7: 46479[2019-11-12]. https://www.nature.com/articles/srep46479. DOI: 10.1038/srep46479.
    [14] Liu XL, Hou F, Qin H, et al. Multi-view multi-scale CNNs for lung nodule type classification from CT images[J]. Pattern Recognit, 2018, 77: 262−275. DOI: 10.1016/j.patcog.2017.12.022.
    [15] Yuan JJ, Liu XL, Hou F, et al. Hybrid-feature-guided lung nodule type classification on CT images[J]. Comput Graph, 2018, 70: 288−299. DOI: 10.1016/j.cag.2017.07.020.
    [16] Wu BT, Zhou Z, Wang JW, et al. Joint learning for pulmonary nodule segmentation, attributes and malignancy prediction [C]//Proceedings of the 2018 IEEE 15th International Symposium on Biomedical Imaging. Washington: IEEE, 2018: 1109−1113. DOI: 10.1109/ISBI.2018.8363765.
    [17] Suzuki K, Doi K. How Can a Massive Training Artificial Neural Network (MTANN) be Trained With a Small Number of Cases in the Distinction Between Nodules and Vessels in Thoracic CT?[J]. Acad Radiol, 2005, 12(10): 1333−1341. DOI: 10.1016/j.acra.2005.06.017.
    [18] Tajbakhsh N, Suzuki K. Comparing two classes of end-to-end machine-learning models in lung nodule detection and classification: MTANNs vs. CNNs[J]. Pattern Recognit, 2017, 63: 476−486. DOI: 10.1016/j.patcog.2016.09.029.
    [19] Song Q, Zhao L, Luo X, et al. Using Deep Learning for Classification of Lung Nodules on Computed Tomography Images[J]. J Healthc Eng, 2017, 2017: 8314740. DOI: 10.1155/2017/8314740.
    [20] Vincent P, Larochelle H, Bengio Y, et al. Extracting and composing robust features with denoising autoencoders [C]//Proceedings of the 25th International Conference on Machine Learning. New York: ACM, 2008: 1096−1103. DOI: 10.1145/1390156.1390294.
    [21] Vincent P, Larochelle H, Lajoie I, et al. Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion[J]. J Mach Learn Res, 2010, 11(12): 3371−3408.
    [22] Kumar D, Wong A, Clausi DA. Lung Nodule Classification Using Deep Features in CT Images[C]//Proceedings of the 2015 12th Conference on Computer and Robot Vision. Halifax: IEEE, 2015: 133−138. DOI: 10.1109/CRV.2015.25.
    [23] Kim BC, Sung YS, Suk HI. Deep feature learning for pulmonary nodule classification in a lung CT[C]//Proceedings of the 2016 4th International Winter Conference on Brain-Computer Interface. Yongpyong: IEEE, 2016: 1−3. DOI: 10.1109/IWW-BCI.2016.7457462.
    [24] Mao KM, Tang RJ, Wang XQ, et al. Feature Representation Using Deep Autoencoder for Lung Nodule Image Classification[J]. Complexity, 2018, 2018: 3078374. DOI: 10.1155/2018/3078374.
    [25] 高琰, 陈白帆, 晁绪耀, 等. 基于对比散度-受限玻尔兹曼机深度学习的产品评论情感分析[J]. 计算机应用, 2016, 36(4): 1045−1049. DOI: 10.11772/j.issn.1001−9081.2016.04.1045.
    Gao Y, Chen BF, Chao XY, et al. Sentiment analysis of product reviews based on contrastive divergence-restricted Boltzmann machine deep learning[J]. J Comput Appl, 2016, 36(4): 1045−1049. DOI: 10.11772/j.issn.1001−9081.2016.04.1045.
    [26] Hua KL, Hsu CH, Hidayati SC, et al. Computer-aided classification of lung nodules on computed tomography images via deep learning technique[J/OL]. Onco Targets Ther, 2015, 8: 2015−2022[2019-11-12]. https://www.dovepress.com/computer-aided-classification-of-lung-nodules-on-computed-tomography-i-peer-reviewed-article-OTT. DOI: 10.2147/OTT.S80733.
    [27] Nibali A, He Z, Wollersheim D. Pulmonary nodule classification with deep residual networks[J]. Int J Comput Assist Radiol Surg, 2017, 12(10): 1799−1808. DOI: 10.1007/s11548−017−1605−6.
    [28] Zhang BH, Qi SL, Monkam P, et al. Ensemble Learners of Multiple Deep CNNs for Pulmonary Nodules Classification Using CT Images[J]. IEEE Access, 2019, 7: 110358−110371. DOI: 10.1109/ACCESS.2019.2933670.
  • [1] 张佳佳樊鑫秦珊珊余飞 . 基于深度学习的人工智能在肿瘤诊断中的应用进展. 国际放射医学核医学杂志, 2020, 44(1): 11-15. doi: 10.3760/cma.j.issn.1673-4114.2020.01.004
    [2] 陆奕行章斌 . 基于深度学习的人工智能应用于甲状腺癌诊断的进展. 国际放射医学核医学杂志, 2022, 46(12): 760-764. doi: 10.3760/cma.j.cn121381-202203024-00243
    [3] 侯震李双双闫婧 . 影像组学与深度学习在肿瘤放疗中的研究进展. 国际放射医学核医学杂志, 2020, 44(12): 744-749. doi: 10.3760/cma.j.cn121381-202004004-00107
    [4] 贾凯丽王雪梅 . 医学影像人工智能新进展. 国际放射医学核医学杂志, 2020, 44(1): 27-31. doi: 10.3760/cma.j.issn.1673-4114.2020.01.007
    [5] 赵建华柴军张晓琴贺燕林刘瑞孙德俊 . 基于深度学习的新型冠状病毒肺炎转归胸部CT评价. 国际放射医学核医学杂志, 2020, 44(12): 737-743. doi: 10.3760/cma.j.cn121381-202004048-00101
    [6] 胡小丽向守洪胡荣慧周代全陈俊源薛雨王政杰 . 人工智能在冠状动脉CT血管成像后处理和诊断报告的初步评估. 国际放射医学核医学杂志, 2020, 44(1): 5-10. doi: 10.3760/cma.j.issn.1673-4114.2020.01.003
    [7] 姚威李培秀霍英杰梁建利张新成冯长明王红辉张翔辰 . 人工智能对肺结节检出及定性的效能评估. 国际放射医学核医学杂志, 2023, 47(11): 668-673. doi: 10.3760/cma.j.cn121381-202304006-00359
    [8] 董孟杰黄钢 . 医学影像与人工智能. 国际放射医学核医学杂志, 2020, 44(1): 2-4. doi: 10.3760/cma.j.issn.1673-4114.2020.01.002
    [9] 周伟娜张凯秀 . 人工智能机器人在核医学病房中的初步应用与展望. 国际放射医学核医学杂志, 2020, 44(12): 750-754. doi: 10.3760/cma.j.cn121381-202003036-00104
    [10] 高玉杰周妮娜李雨奇张伟张鹏博罗晓燕18F-FDG PET/CT纹理分析在肺癌与肺结核的高代谢孤立性肺结节鉴别诊断中的增益价值. 国际放射医学核医学杂志, 2022, 46(2): 73-79. doi: 10.3760/cma.j.cn121381-202011001-00126
    [11] 田亚东袁卫红 . 影像学及肿瘤相关抗原在诊断肺癌中的应用. 国际放射医学核医学杂志, 2011, 35(5): 295-299. doi: 10.3760/cma.j.issn.1673-4114.2011.05.011
  • 加载中
计量
  • 文章访问数:  12161
  • HTML全文浏览量:  11670
  • PDF下载量:  25
出版历程
  • 收稿日期:  2019-11-12
  • 刊出日期:  2020-01-01

基于深度学习的计算机辅助诊断系统在肺癌早期诊断中的应用与进展

摘要: 胸部CT扫描是肺癌早期筛查和诊断的主要检查手段,应用于胸部影像诊断领域的基于深度学习的计算机辅助诊断(CAD)系统可对CT图像上的肺结节进行检测和分类。深度学习技术可提高CAD系统的性能,尤其是在提高肺结节检测的准确率和降低假阳性率方面。笔者就CAD系统中的深度学习模型在肺结节中的应用现状和研究进展作一综述。

English Abstract

  • 肺癌是目前在世界范围内患病率(11.6%)和病死率(18.4%)最高的恶性肿瘤[1],其5年生存率极低,在我国仅为15.6%,超过75%的患者在确诊时已处于晚期[2]。因此,早发现、早诊断对于提高肺癌患者的生存率尤为关键。胸部X射线检查是最早应用于肺癌普查、筛查的影像学检查方法,但因其灵敏度、特异度较低,已被发展迅速的胸部CT扫描所替代。从最早的低分辨率CT到目前高分辨率薄层、低剂量螺旋、双源能谱CT,都包含了大量的影像学信息,放射科医师需要耗费大量的时间和精力阅片,并结合临床信息来诊断肺结节的良恶性。随着人工智能的发展,基于人工智能技术的计算机辅助诊断(computer aided diagnosis,CAD)系统可提高放射科医师的工作效率以及肺结节诊断结果的准确率。深度学习是目前人工智能技术的研究热点,基于深度学习的CAD系统在肺癌的早期诊断中的应用取得了突破性的进展[3]

    CAD系统应用于肺癌的早期诊断,通常包含以下几个步骤:数据预处理、肺区域分割、候选结节检测与分割以及结节诊断[4]。基于深度学习的CAD系统能有效解决肺癌早期诊断中的核心问题,包括特征提取、肺结节检测和假阳性率的降低3个方面[5]。深度学习模型通常分为监督学习和非监督学习两种形式,其中监督学习需要使用带有分类标签的数据,此类模型包括卷积神经网络(convolutional neural network,CNN)和大规模训练人工神经网络(massive-training artificial neural networks,MTANNs);非监督学习则使用无标签数据,此类模型包括自动编码器(autoencoder,AE)和深度置信网络(deep belief network,DBN)。

    • CNN是监督学习下的代表性深度学习模型,是端到端机器学习中的一种类型,主要由输入层、卷积层、池化层、激活层、全连接层和输出层组成。卷积层是CNN的核心层,用于提取较高等级的图像特征,而全连接层则用于图像特征分类。应用于肺结节检测和分类的CNN主要包括二维(two dimensional,2D)CNN和三维(three dimensional,3D)CNN,以及多视图、多流、多尺度的CNN等。

      2D CNN是最早应用于肺结节的深度网络模型,其不受肺部CT图像层厚的影响,且处理数据速度快,所需资源少。Setio等[6]提出了一种基于2D多视图CNN的CAD系统对肺结节进行分类。该CNN包含多个2D卷积流,使用肺部影像数据库中的LIDC-IDRI数据库[7]训练,训练过程中为了获得更全面的鉴别特征,选取肺结节的9个不同视图层的2D补丁作为输入层,再融合不同输出层结果,得到最终分类结果。这种方法相比于传统算法大大地降低了肺结节的假阳性率,准确率至少提升了15%~20%。2019年,Xie等[8]提出了一种更加快速和准确的2D CNN,该CNN是利用两个区域建议网络和一个反卷积层改进的Faster R-CNN进行候选结节的检测,采用了经典的CNN模型视觉几何群网络16来进行特征的提取。其强调保留错误分类的样本,对网络重新训练,这样可提高肺结节检测的灵敏度,同时降低假阳性率。

      3D CNN比2D CNN在网络深度上更深,其在CT图像内学习肺结节空间信息,进行一系列的鉴别特征提取,极大地提高了识别准确率。在使用相同网络参数设置、对相同的数据集进行分类识别时,3D CNN比2D CNN具有更高的准确率。此外,一些研究者将不同的深度学习技术引入3D CNN。Jin等[9]引入了残差学习,通过使用残差单元来加深网络的深度,因此即使图像数据有限,也可提取到更高级的特征,进而有效地降低假阳性率。然而引入残差的同时也会增加偏度,这需要增加更细的维度分类,并且该网络结构消耗大量的内存和计算资源,对资源的需求极大地限制了网络深度;另外,由于图像数据量的限制,降低了数据的多样性,在临床应用中可能存在问题。Tang等[10]引入了难分样本挖掘技术训练一个3D Faster R-CNN,筛选出的难分样本再训练一个3D深度卷积神经网络分类器,综合两个CNN结果提高肺结节检测的准确率,这种端到端的目标检测技术使其在2017年天池人工智能医疗竞赛中脱颖而出。在2018年电气电子工程师协会国际会议上,Qin等[11]进一步采用在线难分样本挖掘和多任务残差学习技术展示了一种基于DenseNet的肺结节分类模型,提高了模型训练速度,降低了假阳性率。Zhu等[12]设计了两个3D深度卷积神经网络,其中一个采用3D双路径联合类U-Net编码解码结构的3D R-CNN用于肺结节检测,而另一个具有结节尺寸、原始像素和深度特征的梯度增强机用于分类,该算法在LIDC-IDRI数据库上进行评估,准确率为90.44%。

      CNN的固定架构决定了其所提取的特征是单一的,这使得传统CNN在非实性肺结节中的诊断效果较差。近年来,一些研究者开发的多尺度、多流和多视图CNN可检测非实性肺结节。Ciompi等[13]使用基于多流、多尺度CNN的CAD系统对6种肺结节(包括实性结节、非实性结节、部分实性结节、钙化结节、叶间裂周围结节、分叶状结节)进行分类。该系统直接处理原始CT数据,无需任何预处理(如结节分割或结节大小判断等),大大缩短了训练时间。结果证明在适当范围内增大CNN的尺度对不同类型肺结节分类的准确率超过传统CNN。2018年,Liu等[14]开发了可对实性、磨玻璃结节和非结节分类的多视图、多尺度CNN。基于Liu的方法,Yuan等[15]利用多核学习结合CNN提取的统计特征与Fisher vector编码的几何特征,对具有混合特征的肺结节进行分类,在LIDC-IDRI和ELCAP数据库的评估结果中分别获得了93.1%和93.9%的分类准确率,尤其是对边界清楚的结节,准确率接近100%。

      最近,研究者们提出CNN不仅可应用于肺结节的检测与分类,也可应用于肺结节更多细节信息的提取。例如Wu等[16]提出了双任务学习CNN,即同时学习肺结节的分割和恶性程度预测,其不仅能提供检测到的结节的具体位置,而且能对结节的恶性程度进行预测,准确率达到97.58%。

    • MTANNs是端到端机器学习的另一种类型,其含有多层改进的人工神经网络,核心处理单元是全连接网络,以图像的灰度数据作为直接输入,量化输出图像,减少特征提取和计算引起的误差,非常适合应用于小样本数据[17]。Tajbakhsh和Suzuki[18]比较了MTANNs与CNN在肺结节检测和分类中的性能,结果表明在使用有限的训练数据时,MTANNs的性能高于CNN,而随着数据量的增加,CNN的性能逐渐提高。因此,在有限的训练样本中,MTANNs捕获的中低等级的图像特征足以对肺结节进行准确检测和分类。

    • AE是一种非监督学习下的深度学习模型,主要包含输入层、隐藏层和输出层。其特点是输入层到隐藏层是一个编码过程,而隐藏层到输出层是一个解码过程,通过编码、解码来提取特征,这相对于传统的人工标记提取更为客观和可靠。目前应用于肺结节的CAD系统中的AE包括:堆栈式AE[19]、去噪自动编码器(denoising autoencoder,DAE)以及堆栈式DAE等。

      降噪技术在一定程度上可对抗原始数据的污染、缺失[20],而堆栈多个AE或DAE构成堆栈式AE或堆栈式DAE,可逐步多层地提取出更抽象的图像特征[21]。Kumar等[22]于2015年首次使用了5层的DAE结合二元决策树的CAD系统对肺结节进行诊断,使用LIDC数据库训练该系统,并将从DAE提取的第4层特征作为特征向量用于分类,得到的准确率为75.01%,灵敏度为83.35%。而Kim等[23]提出结合堆栈式DAE提取的抽象信息与原始图像信息,形成一个组合特征向量,再采用t-test挑选的特征向量训练支持向量机进行分类。该分类方法的准确率达到了95.5%。最近,Mao等[24]建立了一种结合肺结节图像局部和全局特征的模型,将图像分割为局部补丁后,在深度AE中提取局部特征构造视觉词汇袋,与原始AE相比,深度AE可以捕捉到更详细的特征信息。

    • DBN这一概念在2006年被Hinton和Salakhutdinov [3]提出,其被定义为一种具有多层神经元的概率生成模型。DBN的基础结构是受限玻尔兹曼机,其特点是可见层、隐藏层之间是全连接的,而可见层间和隐藏层间是无连接的[25],这种连接方式是其高效性的基础。2015年,Hua等[26]利用DBN和CNN对胸部CT图像上的良恶性肺结节进行分类,采用随机梯度下降法对DBN进行逐层无监督的预训练,并利用监督微调预训练的深度网络,进一步优化整体网络性能。将该方法与传统的k近邻法和支持向量机分形分析技术进行性能比较,结果表明DBN和CNN在灵敏度和特异度上都优于传统的纹理特征分类法。

    • 肺癌的早期诊断对于提高患者的生存率尤为关键。基于深度学习的CAD系统在肺结节的检测与分类应用中获得的突破性进展,可帮助放射科医师提高诊断的准确率,降低假阳性率。然而,深度学习在胸部影像诊断领域中的应用仍处于起步阶段,还存在诸多挑战。首先,深度学习模型需要依赖大量的医疗数据集进行训练,现有胸部影像数据集不足导致训练样本不够,数据集标注缺乏统一标准、具有主观性等均可影响模型的学习效果,因此需要建立开放的数据集平台,为研究者提供一个统一的研发环境。其次,现有深度学习模型在肺结节的检测和分类应用中有较多的研究,而肺癌的早期诊断还需要更全面的信息,未来可结合多任务学习等技术开发具有复杂功能的系统,更好地提高肺癌早期诊断的准确率。最后,已有研究者联合使用多种深度学习技术或模型改进CAD系统的性能,并取得了较好的表现[27-28],期待多种新型模型的研发以进一步提高胸部影像诊断系统的性能。

      利益冲突 本研究由署名作者按以下贡献声明独立开展,不涉及任何利益冲突。

      作者贡献声明 刘婧负责资料的整理、论文的撰写和修改;张莺负责命题的提出和论文的审阅。

参考文献 (28)

目录

    /

    返回文章
    返回