[發明專利]基于多階段多特征深度融合的乳腺癌圖像識別方法及系統

有效

• 申請號: 202010059531.3
• 申請日: 2020-01-19
• 公開（公告）號: CN111291789B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 李廣麗;鄔任重;袁天;李傳秀;張紅斌
• 申請（專利權）人: 華東交通大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/82;G06V10/25;G06V10/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

本發明屬于圖像處理技術領域，公開了一種基于多階段多特征深度融合的乳腺癌圖像識別方法，從形狀、紋理、深度學習多角度提取圖像的Gist、SIFT、HOG、LBP、VGG16、ResNet、DenseNet特征；深入挖掘不同特征間蘊含的跨模態病理語義；通過早期融合、中融合、后融合進行特征融合；并構造集早期融合、中融合、后融合為一體的多階段多特征融合模型；進行乳腺腫塊的分類、識別、處理并輸出處理結果。本發明通過提取乳腺造影圖像的傳統特征以及深度學習特征，深入挖掘不同特征間的跨模態病理語義，并設計多階段多特征融合策略完成乳腺癌圖像識別。同時，壓縮核心特征的維度，以提升診斷模型的實時效率。

技術領域

本發明屬于信息處理技術領域，尤其涉及一種基于多階段多特征深度融合的乳腺癌圖像識別方法及系統。

背景技術

目前，業內常用技術是這樣的：乳腺癌是女性發病率最高的癌癥，也是一種死亡率非常高的、較為復雜的臨床異質性疾病，早發現、早診斷、早治療對提高乳腺癌患者存活率及改善患者生活質量都具有十分重要的意義，計算機輔助乳腺癌自動診斷已成為學術界與工業界共同關注的問題。乳腺造影圖像(X線攝影圖像)可以較好地反映乳腺組織中存在的多種異常情況，故基于乳腺造影圖像，病理醫生能做出正確的診斷決策。然而乳腺造影圖像中的腫塊大小及形狀存在多樣性，且不同個體的乳腺組織密度也存在一定差異，某些腫塊隱藏于乳腺組織中，不易發現；因此需要借助機器學習或機器視覺技術對乳腺造影圖像進行識別，獲取其中有效的信息。

現有技術中主要通過圖像特征提取以及深度學習方法對相關乳腺造影圖像進行識別。

首先，圖像特征提取或特征優選是構建高質量乳腺癌診斷模型的重要前提。紋理、形狀、邊緣等傳統特征，如尺度不變特征變換(Scale-Invariant Feature Transform，SIFT)、方向梯度直方圖(Histogram of Oriented Gradients，HOG)、紋理基元(Texton)等在早期傳統的乳腺癌識別中發揮了重要作用。例如，現有技術提取乳腺癌圖像病灶的感興趣區域(Region of Interesting,ROI)，然后將空間信息約束的模糊C均值(Fuzzy C-Means，FCM)算法集成到基于水平集的分割方法中，獲取低層特征。基于互信息消除冗余特征，篩選關鍵特征。最后，采用SVM、LDA等傳統分類模型完成乳腺腫塊良惡性識別。

然而，手工提取乳腺癌圖像病灶區域對專業知識有嚴格要求，這對于非專業人士有較大難度，且提取的效率不高。此外，在特征提取過程中，傳統特征判別能力較弱。因此，傳統的乳腺癌診斷模型的精準度不高，模型的實用價值也受到一定影響。

近年來，深度學習技術在機器視覺領域中取得重大突破，卷積神經網絡(Convolutional Neural Networks，CNN)逐漸在乳腺癌診斷過程中扮演關鍵角色。相關研究工作可分如下四大類：

第一類：微調模型法。基于ImageNet數據集訓練出多個卷積神經網絡(如VGG、ResNet等)，它們能捕獲圖像中的深層語義，故只需微調這些網絡，便可遷移出圖像的關鍵特征表示。該方法通過微調已預訓練好的卷積神經網絡或直接抽取網絡中的瓶頸特征，然后采用傳統分類器(如SVM、KNN、NB等)完成乳腺癌診斷。例如，現有技術1在兩個乳腺造影數據集上對CNN進行訓練和評估，每個CNN模型均采用兩種方式進行訓練或微調，第一種方式指使用預訓練的權重初始化網絡，第二種方式指隨機初始化網絡權重。大量實驗結果表明：對預訓練的CNN模型進行微調可以獲得更好的診斷性能。該方法能輕松獲取預訓練好的權重，以加快模型訓練速度。它的主要問題：預訓練好的權重是基于ImageNet數據集，該數據集不包含任何醫學圖像，故預訓練好的權重對于乳腺造影圖像來說幫助不大。此外，采用預訓練好的權重初始化卷積神經網絡時，要求輸入的圖像尺寸必須與預訓練時的圖像尺寸完全一致，即224×224。而乳腺造影圖像的尺寸通常遠大于224×224，為了與預訓練時圖像尺寸保持一致，需將圖像統一縮小，顯然這會丟失大量有效的判別信息，最終影響乳腺癌診斷精準度。綜上，微調模型法可用于乳腺癌診斷，但診斷性能有待提高。