基于深度学习的人工智能在肿瘤诊断中的应用进展

张佳佳 樊鑫 秦珊珊 余飞

引用本文:
Citation:

基于深度学习的人工智能在肿瘤诊断中的应用进展

    通讯作者: 余飞, yufei021@sina.com

Advances in the application of artificial intelligence in cancer diagnosis and treatment

    Corresponding author: Fei Yu, yufei021@sina.com
  • 摘要: 随着大数据时代的到来,人工智能得以在医疗领域崭露头角并实现了飞速发展,尤其在肿瘤诊断方面存在巨大潜能。人工智能利用自动化图像分割及提取等关键技术,在实现短时间内对大量肿瘤信息汇总分析的同时,还可以反映现实环境中成像数据的分布,使肿瘤诊断从主观感知转向客观科学,从而高效精确地协助医师的诊断,为诊疗计划的制订和预后的判断提供坚实的基础。笔者拟对人工智能在肿瘤诊断中的关键技术及当前的应用进行综述。
  • [1] Bi WL, Hosny A, Schabath MB, et al. Artificial intelligence in cancer imaging: Clinical challenges and applications[J]. CA Cancer J Clin, 2019, 69(2): 127−157. DOI: 10.3322/caac.21552.
    [2] Samuel AL. Some studies in machine learning using the game of checkers[J]. IBM J Res Dev, 2000, 44(1/2): 206−226. DOI: 10.1147/rd.441.0206.
    [3] Lee JG, Jun S, Cho YW, et al. Deep Learning in Medical Imaging: General Overview[J]. Korean J Radiol, 2017, 18(4): 570−584. DOI: 10.3348/kjr.2017.18.4.570.
    [4] King BF Jr. Guest Editorial: Discovery and Artificial Intelligence[J]. AJR Am J Roentgenol, 2017, 209(6): 1189−1190. DOI: 10.2214/AJR.17.19178.
    [5] Erickson BJ, Korfiatis P, Akkus Z, et al. Machine Learning for Medical Imaging[J]. Radiographics, 2017, 37(2): 505−515. DOI: 10.1148/rg.2017160130.
    [6] Chen LY, Shen CY, Zhou ZG, et al. Automatic PET cervical tumor segmentation by combining deep learning and anatomic prior[J]. Phys Med Biol, 2019, 64(8): 085019. DOI: 10.1088/1361−6560/ab0b64.
    [7] Hekler A, Utikal JS, Enk AH, et al. Pathologist-level classification of histopathological melanoma images with deep neural networks[J]. Eur J Cancer, 2019, 115: 79−83. DOI: 10.1016/j.ejca.2019.04.021.
    [8] Prasanna P, Karnawat A, Ismail M, et al. Radiomics-based convolutional neural network for brain tumor segmentation on multiparametric magnetic resonance imaging[J]. J Med Imaging (Bellingham), 2019, 6(2): 024005. DOI: 10.1117/1.jmi.6.2.024005.
    [9] Shi LM, Zhang Y, Nie K, et al. Machine learning for prediction of chemoradiation therapy response in rectal cancer using pre-treatment and mid-radiation multi-parametric MRI[J]. Magn Reson Imaging, 2019, 61: 33−40. DOI: 10.1016/j.mri.2019.05.003.
    [10] Zheng LF, Yu KY, Cai SS, et al. Lung cancer diagnosis with quantitative DIC microscopy and a deep convolutional neural network[J/OL]. Biomed Opt Express, 2019, 10(5): 2446−2456[2019-11-18]. https://www.osapublishing.org/boe/abstract.cfm?uri=boe-10-5-2446. DOI: 10.1364/boe.10.002446.
    [11] Havaei M, Davy A, Warde-Farley D, et al. Brain tumor segmentation with Deep Neural Networks[J]. Med Image Anal, 2017, 35: 18−31. DOI: 10.1016/j.media.2016.05.004.
    [12] Shelhamer E, Long J, Darrell T. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Trans Pattern Anal Mach Intell, 2017, 39(4): 640−651. DOI: 10.1109/tpami.2016.2572683.
    [13] Rodner E, Bocklitz T, von Eggeling F, et al. Fully convolutional networks in multimodal nonlinear microscopy images for automated detection of head and neck carcinoma: Pilot study[J]. Head Neck, 2019, 41(1): 116−121. DOI: 10.1002/hed.25489.
    [14] Tahmasebi N, Boulanger P, Noga M, et al. A Fully Convolutional Deep Neural Network for Lung Tumor Boundary Tracking in MRI[C]//Proceedings of the 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Honolulu: IEEE, 2018: 5906−5909. DOI: 10.1109/embc.2018.8513607.
    [15] Jian JM, Xiong F, Xia W, et al. Fully convolutional networks (FCNs)-based segmentation method for colorectal tumors on T2-weighted magnetic resonance images[J]. Australas Phys Eng Sci Med, 2018, 41(2): 393−401. DOI: 10.1007/s13246−018−0636−9.
    [16] Meng Z, Fan ZY, Zhao ZC, et al. ENS-Unet: End-to-End Noise Suppression U-Net for Brain Tumor Segmentation[C]// Proceedings of the 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Honolulu: IEEE, 2018: 5886−5889. DOI: 10.1109/embc.2018.8513676.
    [17] Wang HB, Cruz-Roa A, Basavanhally A, et al. Mitosis detection in breast cancer pathology images by combining handcrafted and convolutional neural network features[J]. J Med Imaging (Bellingham), 2014, 1(3): 034003. DOI: 10.1117/1.jmi.1.3.034003.
    [18] Ciresan DC, Giusti A, Gambardella LM, et al. Mitosis Detection in Breast Cancer Histology Images with Deep Neural Networks[C]//Proceedings of the 16th International Conference on Medical Image Computing and Computer-Assisted Intervention. Nagoya: Springer, 2013: 411−418. DOI: 10.1007/978−3−642−40763−5_51.
    [19] Xu Y, Mo T, Feng QW, et al. Deep Learning of Feature Representation with Multiple Instance Learning for Medical Image Analysis[C]//Proceedings of 2014 IEEE International Conference on Acoustics, Speech and Signal Processing. Florence: IEEE, 2014: 1626−1630. DOI: 10.1109/ICASSP.2014.6853873.
    [20] Zhang PP, Feng ZY, Cai W, et al. T2-Weighted Image-Based Radiomics Signature for Discriminating Between Seminomas and Nonseminoma[J/OL]. Front Oncol, 2019, 9: 1330[2019-11-18]. https://www.frontiersin.org/articles/10.3389/fonc.2019.01330/full. DOI: 10.3389/fonc.2019.01330.
    [21] Chen CY, Guo XY, Wang J, et al. The Diagnostic Value of Radiomics-Based Machine Learning in Predicting the Grade of Meningiomas Using Conventional Magnetic Resonance Imaging: A Preliminary Study[J/OL]. Front Oncol, 2019, 9: 1338[2019-11-18]. https://www.frontiersin.org/articles/10.3389/fonc.2019.01338/full. DOI: 10.3389/fonc.2019.01338.
    [22] Pan YH, Huang WM, Lin ZP, et al. Brain tumor grading based on Neural Networks and Convolutional Neural Networks[C]// Proceedings of the 2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Milan: IEEE, 2015: 699−702. DOI: 10.1109/embc.2015.7318458.
    [23] Tian Q, Yan LF, Zhang X, et al. Radiomics strategy for glioma grading using texture features from multiparametric MRI[J]. J Magn Reson Imaging, 2018, 48(6): 1518−1528. DOI: 10.1002/jmri.26010.
    [24] Kutlu H, Avci E. A Novel Method for Classifying Liver and Brain Tumors Using Convolutional Neural Networks, Discrete Wavelet Transform and Long Short-Term Memory Networks [J/OL]. Sensors (Basel), 2019, 19(9): 1992[2019-11-18]. https://www.mdpi.com/1424-8220/19/9/1992. DOI: 10.3390/s19091992.
    [25] Huang YQ, Liang CH, He L, et al. Development and Validation of a Radiomics Nomogram for Preoperative Prediction of Lymph Node Metastasis in Colorectal Cancer[J]. J Clin Oncol, 2016, 34(18): 2157−2164. DOI: 10.1200/JCO.2015.65.9128.
    [26] Nie K, Shi LM, Chen Q, et al. Rectal Cancer: Assessment of Neoadjuvant Chemoradiation Outcome based on Radiomics of Multiparametric MRI[J]. Clin Cancer Res, 2016, 22(21): 5256−5264. DOI: 10.1158/1078−0432.CCR−15−2997.
    [27] Song JD, Shi JY, Dong D, et al. A New Approach to Predict Progression-free Survival in Stage IV EGFR-mutant NSCLC Patients with EGFR-TKI Therapy[J]. Clin Cancer Res, 2018, 24(15): 3583−3592. DOI: 10.1158/1078−0432.CCR−17−2507.
    [28] Xu H, Lv W, Feng H, et al. Subregional Radiomics Analysis of PET/CT Imaging with Intratumor Partitioning: Application to Prognosis for Nasopharyngeal Carcinoma[J/OL]. Mol Imaging Biol, 2019[2019-11-18]. https://link.springer.com/content/pdf/10.1007%2Fs11307-019-01439-x.pdf. DOI: 10.1007/s11307−019−01439−x.
  • [1] 陆奕行章斌 . 基于深度学习的人工智能应用于甲状腺癌诊断的进展. 国际放射医学核医学杂志, 2022, 46(12): 760-764. doi: 10.3760/cma.j.cn121381-202203024-00243
    [2] 侯震李双双闫婧 . 影像组学与深度学习在肿瘤放疗中的研究进展. 国际放射医学核医学杂志, 2020, 44(12): 744-749. doi: 10.3760/cma.j.cn121381-202004004-00107
    [3] 刘婧张莺 . 基于深度学习的计算机辅助诊断系统在肺癌早期诊断中的应用与进展. 国际放射医学核医学杂志, 2020, 44(1): 22-26. doi: 10.3760/cma.j.issn.1673-4114.2020.01.006
    [4] 赵建华柴军张晓琴贺燕林刘瑞孙德俊 . 基于深度学习的新型冠状病毒肺炎转归胸部CT评价. 国际放射医学核医学杂志, 2020, 44(12): 737-743. doi: 10.3760/cma.j.cn121381-202004048-00101
    [5] 周伟娜张凯秀 . 人工智能机器人在核医学病房中的初步应用与展望. 国际放射医学核医学杂志, 2020, 44(12): 750-754. doi: 10.3760/cma.j.cn121381-202003036-00104
    [6] 胡小丽向守洪胡荣慧周代全陈俊源薛雨王政杰 . 人工智能在冠状动脉CT血管成像后处理和诊断报告的初步评估. 国际放射医学核医学杂志, 2020, 44(1): 5-10. doi: 10.3760/cma.j.issn.1673-4114.2020.01.003
    [7] 董孟杰黄钢 . 医学影像与人工智能. 国际放射医学核医学杂志, 2020, 44(1): 2-4. doi: 10.3760/cma.j.issn.1673-4114.2020.01.002
    [8] 贾凯丽王雪梅 . 医学影像人工智能新进展. 国际放射医学核医学杂志, 2020, 44(1): 27-31. doi: 10.3760/cma.j.issn.1673-4114.2020.01.007
    [9] 姚威李培秀霍英杰梁建利张新成冯长明王红辉张翔辰 . 人工智能对肺结节检出及定性的效能评估. 国际放射医学核医学杂志, 2023, 47(11): 668-673. doi: 10.3760/cma.j.cn121381-202304006-00359
    [10] 潘野雄蒋皆恢王敏左传涛 . 基于神经影像的复杂脑网络技术用于阿尔兹海默症的研究进展. 国际放射医学核医学杂志, 2020, 44(1): 16-21. doi: 10.3760/cma.j.issn.1673-4114.2020.01.005
    [11] 赵利军刘彦仿周前 . 反义显像技术在肿瘤诊断中的应用. 国际放射医学核医学杂志, 1996, 20(3): 121-123.
  • 加载中
计量
  • 文章访问数:  12609
  • HTML全文浏览量:  12136
  • PDF下载量:  44
出版历程
  • 收稿日期:  2019-11-18
  • 刊出日期:  2020-01-01

基于深度学习的人工智能在肿瘤诊断中的应用进展

    通讯作者: 余飞, yufei021@sina.com
  • 同济大学附属第十人民医院核医学科,上海 200072

摘要: 随着大数据时代的到来,人工智能得以在医疗领域崭露头角并实现了飞速发展,尤其在肿瘤诊断方面存在巨大潜能。人工智能利用自动化图像分割及提取等关键技术,在实现短时间内对大量肿瘤信息汇总分析的同时,还可以反映现实环境中成像数据的分布,使肿瘤诊断从主观感知转向客观科学,从而高效精确地协助医师的诊断,为诊疗计划的制订和预后的判断提供坚实的基础。笔者拟对人工智能在肿瘤诊断中的关键技术及当前的应用进行综述。

English Abstract

  • 人工智能最初在1956年由美国科学家在达特莫斯学会会议上提出,其聚焦于利用机器模拟人的部分思维活动的研究。近年来,人工智能在医疗保健领域取得了众多研究成果,在肿瘤诊断中的应用也得到了蓬勃发展。癌症作为一种自我维持和适应的过程,与其所处的微环境动态相互作用,因此其诊断与治疗极为复杂[1]。现阶段,癌症的诊断多依赖于高分辨率医学成像仪器和病理仪器设备等,由医师对结果加以判断,无法反映成像数据的分布。人工智能则可以对数以万计的图像组成的数据集进行学习及推理,可有效地解决这一问题,使肿瘤诊断从主观感知转向客观科学;另外,人工智能不存在由视觉疲劳、经验不足等主观因素造成的漏诊与误诊。随着人们对自身健康关注度的提升,每天都会并行产生大量与肿瘤相关的医疗数据,人工智能可以对海量的与肿瘤相关的数据进行汇总分析,协助医师高效地开展工作。本文主要从以下几个方面阐述目前人工智能用于肿瘤诊断的新进展。

    • 人工智能融合计算机科学、统计学、脑神经学和社会科学等多种学科,用于模拟、延伸和扩展人类智能,以代替人类实现识别、认知,分析和决策等多种功能。人工智能经过推理期、知识期、机器学习期和深度学习期4个阶段,以人工神经网络(artificial neural network,ANN)、支持向量机(support vector machine,SVM)及卷积神经网络(convolutional neural network,CNN)为代表。人工智能包括机器学习,深度学习是机器学习方法的一个类别。机器学习由亚瑟·塞缪尔在1959年提出,用来描述人工智能的一个子领域[2],其包括所有允许计算机从数据中学习而不用经过解释性编程的方法,已经被广泛应用于医学图像[3]。机器学习结合计算机模型和算法,模仿人体大脑中的生物神经网络结构(ANN体系结构)[4],其具有3个不同的层:接收输入数据的输入层,产生数据处理结果的输出层,以及提取数据模式的隐藏层。在机器学习中,深度学习提高了传统神经网络使用深度结构时的性能,已成为最有前途的技术之一。深层ANN不同于单一隐含层,其具有大量的隐含层,这是网络深度的特征[5]。在不同深度的ANN中,CNN已经成为计算机视觉应用中的热门话题。在这类深层神经网络中,由于特征提取层和特征映射层的存在,多维输入向量的图像可直接输入到网络,避免了特征提取和分类过程中复杂的数据重建这一难题,对大型图像的处理表现出色。

    • 图像分割即根据图像的灰度特征、纹理特征和频域特征将图像分成多个具有自身特性的区域,分割的准确性对于医师判断疾病的真实状况至关重要。近年来,由于ANN存在大量的连接,使图像中的噪声和不均匀问题得以解决,其在不同肿瘤图像的分割中得到了广泛应用[6-10]。例如:Havaei等[11]提出了一种基于深度神经网络的脑肿瘤自动分割方法,可以同时获取MRI局部和全局特征,并采用两阶段训练解决肿瘤数据标注不均衡这一问题。然而,基于CNN的传统分割方式需要大量的存储空间且计算效率低下,因此,Shelhamer等[12]提出全卷积神经网络(fully convolutional networks,FCN)以改善这些问题。尤为重要的是,FCN可通过实现图像像素级别的分类克服一些语义级别中存在的图像分割弊端。目前,FCN已应用于头颈癌[13]、肺癌[14]、结肠癌[15]等肿瘤图像的分割,同时,在FCN的基础上涌现了大量图像分割算法,如U-Net、SegNet和RefineNet等。Meng等[16]提出了一种新的光噪声抑制网络,无需预处理即可实现端到端的学习和后处理,克服了肿瘤图像分割被解析成几个阶段的缺点。目前存在大量的图像分割算法,但均未应用于肿瘤图像的分割,有待进一步的尝试与研究。

    • 图像特征提取源于计算机视觉,指从图像中挑选出可以最有效表达图像内容的低维矢量的过程,如对形状特征、灰度直方图、纹理结构特征和空间关系等特征的提取,从而降低特征空间维数,是医师做出诊断的基础。传统的图像提取方式为人工特征设计提取,由于不同医学成像设备所得的图像具有多形态、模糊性和异质性等特征,单纯依靠医师的专业经验,缺乏统一的标准,客观性较差。基于深度学习的自动特征学习是指运用不同算法使计算机自动学习图像的特征,并对低层特征进行组合,从而形成更加抽象的高层特征以实现更加全面地表达图片特征的目标。Wang等[17]提出了一种级联的有丝分裂检测方法用于乳腺癌的诊断,其结合了CNN模型和手工设计的特征(形态、颜色和纹理特征),与原有的单纯手工特征设计提取相比,此方法准确快速,并且需要更少的计算资源。深度学习可以使计算机直接从大量数据中学习特征表达,通过一定的预处理和后期处理方法,准确高效地检测细胞。Ciresan 等[18]利用CNNs模型,使计算机自动学习乳腺疾病的病理特征,首次证明即使没有人工手动设计特征,神经网络也能自动全面地学习,为病理图片分析带来了新的突破。此后,许多研究进行了类似的尝试,Xu等[19]研究了基于深度学习的自动特征提取方法,并证明自动特征学习优于人工特征提取设计。

    • 与图像特征提取类似,图像特征选择也是降低特征空间维数的基本方法之一,其能够从给定的特征中选出有效识别目标的最小特征子集。距离相关算法、套索算法(least absolute shrinkage and selection operator,LASSO)和梯度提升决策树算法等常单独或联合用于肿瘤图像的特征选择。Zhang等[20]利用LASSO算法进行特征选择,以非侵入性的方式实现了精原细胞瘤和非精原细胞瘤的鉴别诊断。Chen等[21]在纹理提取的基础上,联合使用距离相关算法、LASSO算法及梯度提升决策树算法进行特征选择,并以线性判别分析和SVM算法建立模型,用于辅助术前脑膜瘤分级。

    • 利用人工智能使计算机自主学习组织层面上的特征,可实现癌症分期及术前诊断。现有的癌症分期方式存在由于人眼所存在的固有视觉差异而导致分期结果不一致的弊端,人工智能的出现能有效地克服这一弊端。目前,人工智能已在脑肿瘤、骨肉瘤及乳腺癌等多种肿瘤图像中展开了实践,其中研究较多的为脑肿瘤图像。Pan等[22]利用深度学习的自动学习能力,首次将脑肿瘤MRI图像直接输入计算机,并在多期MRI之间联合操作,克服了其他分类方法需要额外设计和选择特征集的缺点,并且具有更好的分类性能。此外,这种方法实现了不同层次训练的内核可视化,呈现了CNN获得的一些自学习特征,打开了算法“黑匣子”。Tian等[23]以MRI最优纹理特征建立了SVM分类器,对胶质瘤进行分类与分级,证明纹理特征对于非侵入性分级胶质瘤的分类与分级比直方图参数更有效,有助于不同等级的胶质瘤患者的临床决策。最近,Kutlu和Avci[24]利用CNN的特征提取能力、离散小波变换(discrete wavelet transform,DWT)的信号处理能力和长短时记忆(long short-term memory networks,LSTM)的信号分类能力,提出了一种对脑肿瘤MRI图像进行分类的方法——CNN-DWT-LSTM。与传统的k近邻算法以及SVM等分类算法相比,CNN-DWT-LSTM显示了更强的分类能力,其对脑肿瘤进行分类的准确率可达98.6%。此外,人工智能也常用于术前辅助诊断,Huang等[25]从结直肠癌门静脉期CT中提取放射影像学特征,利用LASSO算法实现数据降维、特征选择和放射学特征构建,并采用多变量 logistic回归分析构建预测模型,可减少结直肠癌术前对淋巴结的盲目清扫。

    • 人工智能可对肿瘤患者新辅助放化疗的效果进行评估,以减少不必要的损害。Nie等[26]选取48例接受新辅助化放疗的患者,利用其T1/T2成像、弥散加权MRI和动态增强MRI检查数据,提取了103个影像特征,并采用单因素分析法评价各单项指标预测病理完全反应或良好反应的能力。利用ANN方法建立模型,选择最佳的预测集对不同的响应组进行分类,并利用受试者工作特征曲线计算预测性能,建立了比传统成像指标具有更高预测值的模型,实现了直肠癌新辅助放化疗效果的定量化精准评估。

    • 人工智能还可用于预后的监测,并且已在多种肿瘤中实现临床应用。Song等[27]对非小细胞肺癌治疗前图像的强度、形状和纹理特征进行特征提取,并利用LASSO-Cox构建反映靶向治疗无进展生存期的预测模型,实现对表皮生长因子受体突变的晚期肺癌患者靶向治疗无进展生存期的个性化精准预测。此外,Huang等[25]从结肠癌患者门静脉期CT图像中提取放射影像学特征,采用LASSO回归模型进行数据降维、特征选择和放射影像学特征构建。利用多变量logistic回归分析建立预测模型,绘制K-M生存曲线,用于监测结肠癌术后局部复发及远处转移。Xu等[28]通过Cox比例风险模型结合正向特征选择,提取鼻咽癌患者亚区放射组学特征,构建预测预后的影像生物标志物,结果表明分区域PET/CT影像学分析有助于预测鼻咽癌患者的无进展生存期,同时也为传统的预测因素提供了补充信息。

      综上所述,人工智能通过对大量数据集进行训练学习,能发现人眼无法分辨的细节和主观因素难以总结的普适规律,减少医师因主观因素所致的诊疗误差,使肿瘤诊断由人的主观判断转为客观判断。此外,人工智能还可以以非侵入方式将病理信息融入人体的结构和功能显像中,进一步提高肿瘤诊断的灵敏度及特异度。目前,一些癌症中心已经开始使用它们协助工作,但人工智能仍存在算法缺陷、算法黑匣子和隐私安全等诸多问题。随着算法的优化和硬件设备的革新,人工智能必将带领我们进入一个肿瘤学的新时代。

      利益冲突 本研究由署名作者按以下贡献声明独立开展,不涉及任何利益冲突。

      作者贡献声明 张佳佳负责论文的撰写;樊鑫、秦珊珊负责论文的修改;余飞负责命题的提出及论文的审阅。

参考文献 (28)

目录

    /

    返回文章
    返回