[發明專利]基于級聯卷積神經網絡的腦部膠質瘤分割

在審

• 申請號: 202010029445.8
• 申請日: 2020-01-10
• 公開（公告）號: CN111340828A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 王宜匡;萬程;卜澤鵬;俞秋麗;陳志強
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T7/11;G06T7/187;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開一種基于級聯卷積神經網絡的腦部膠質瘤分割方法，包括：對腦腫瘤區域進行一次粗分割，提取腫瘤的大概位置信息；在粗分割的基礎上對每個維度擴展10個像素并作為細分割網絡的輸入；對細分割網絡進行改進，使細分割網絡結合了稠密連接、改進的損失函數和多維度模型集成的優點；設計三個方向(2D、2.5D和3DCNN模型)的集成模型，分別考慮與每個方向對應的不同分辨率的所有信息；后處理操作條件隨機場被集成在分割算法中，優化分割結果在外觀和空間位置上的連續性。本發明通過兩步級聯卷積神經網絡對腦部膠質瘤進行分割，結合了稠密連接、新的損失函數和多維度模型集成的優點，同時設計了多個方向的集成模型，最后利用條件隨機場優化分割結果。

技術領域

本發明涉及基于級聯卷積神經網絡的腦部膠質瘤分割，屬于醫學圖像處理領域。

背景技術

膠質瘤是最常見的腦部原發性惡性腫瘤，臨床上，醫生主要通過分析腫瘤圖像來制定患者的治療計劃以及評估治療效果。從醫學圖像中可以獲取一些非入侵性的且容易得到的生物標記來描述腫瘤的狀態和治療反應，例如，腫瘤的輪廓特征、邊界紋理、截面積和體積等，這些都是醫生在制定治療計劃時必要的參考因素。腫瘤分類的第一步是對不同形態的腫瘤進行精準的分割，但目前分割的工作主要依靠人工實現，耗時且費力，并且可能導致有用信息的丟失，因此腦部膠質瘤的自動準確分割對臨床醫療有著至關重要的意義。

目前基于深度學習的腫瘤分割算法中，大致可以分為兩個不同的類型。，一類是采用3D-CNN的腫瘤分割網絡，另一類通過2DCNN對MR圖像的切片進行分割，之后將分割的結果組合成一個整體。這兩類方法各有其優劣勢，盡管3D-CNN可以充分地利用MRI數據潛在的3D信息，但是也會有網絡規模和計算成本的增加(對硬件要求比較高)以及很難找到預訓練的模型(3D數據集的數據量都比較少)等問題。而2D-CNN的思路是將圖像按照2D的切片進行訓練，將該任務轉換成2D目標的分割，這樣做的好處在于不需要太多的硬件資源，且能夠進行預訓練，因此盡管在訓練模型的過程中可能存在損失信息的問題，這依舊是腦腫瘤分割方法中應用最廣泛的方法

發明內容

發明目的：本發明目的在于針對現有技術的不足，提供一種基于級聯卷積神經網絡的腦部膠質瘤分割方法，該方法通過粗分割網絡確定腫瘤的大概位置，在此基礎上盡可能的對邊界準確地劃分，另外對每個維度的邊界進行10個像素的擴展以確保所有的腫瘤都在候選框中，為下一步的精細分割提供更多的信息。同時，對模型進行了相應的改進，使該模型結合了稠密連接、新的損失函數和多維度模型集成的優點。設計三個方向(2D、2.5D和3DCNN模型)的集成模型，分別考慮與每個方向對應的不同分辨率的所有信息。進一步地，為了更多地利用到更多有用的信息，條件隨機場被集成在基于深度學習的目標分割算法中，作為CNN的一個后處理步驟，用于優化分割結果在外觀和空間位置上的連續性。

技術方案：本發明所述基于級聯卷積神經網絡的腦部膠質瘤分割方法，包括如下步驟：

(1)數據預處理，將圖像進行歸一化；不同模態的圖像經過一個特定的網絡層提取特征，并將各通道結果拼接起來；去除大量0值背景像素，且只選擇有腫瘤數據存在的圖像層作為訓練數據；

(2)構建基于ResNet的粗分割網絡，分別選取網絡在不同尺度下的特征圖，通過卷積和上采樣操作得到與輸入分辨率相同的預測值；將得到的這些預測圖輸入到一個卷積核大小為3×3的卷積層中得到最終的概率圖；

(3)構建融合細分割網絡，包括主體為U-Net類型的2.5D細分割網絡和基于DenseNet的3D細分割網絡，融合2.5D和3D細分割網絡得到最終細分割網絡；

(4)在每一次上采樣階段后加入注意力機制模塊；將前級網絡輸出的尺寸為W×H×C的特征圖通過全局池化轉換為1×1×C的一個特征向量，并將特征向量與原來的特征圖相乘；將前述相乘得到的特征圖通過1×1×C的均值池化層生成一個W×H×1的注意力特征圖，并將注意力圖作為輸出的特征圖的權重；