[發明專利]改進GoogLeNet神經網絡下多模態醫學圖像分類方法

在審

• 申請號: 202011427610.1
• 申請日: 2020-12-07
• 公開（公告）號: CN112465058A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 徐文龍;楚陽;李霞
• 申請（專利權）人: 中國計量大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種改進GoogLeNet神經網絡下多模態醫學圖像分類方法，其特征在于，包括以下步驟：

步驟1：獲取不同類別的多模態三維影像；

步驟2：構建改進的GoogLeNet卷積神經網絡作為神經網絡分類模型；

步驟3：將獲取的影像數據隨機打亂順序，生成批次；

步驟4：將具有標簽標注的樣本數據進行預處理操作，準備好樣本數據和測試數據樣本，統一樣本尺寸；

步驟5：對神經網絡分類模型進行參數優化，獲取優化的網絡模型參數，保存網絡模型；

步驟6：以獲得的兩種模態影像生物標記物作為步驟5生產的網絡模型之輸入，以不同類別作為分類結果輸出；

步驟7：將預處理后的數據送入訓練優化好的神經網絡分類模型中，通過神經網絡分類模型的分類器做出分類并輸出分類結果；

步驟8：對經最后全連接層和SoftMax層，輸出雙模態分類結果后，結合MMSE表和CDR表生物學標記做出最終分類情況；

所述步驟2中構建改進的GoogLeNet卷積神經網絡作為分類模型，以GoogLeNet模型為基礎，對網絡進行調整，將原有的22層的網絡深度縮減為19層，包含了18個卷積層和1個全連接層，去除了2個Inception模塊，僅保留了7個Inception模塊，同時保留了一層SoftMax層，其中通過卷積層對影像特征進行提取，網絡模型中卷積運算求解式為：

其中，是l層輸入的特征圖，M_j是輸入特征圖的集合，表示與輸入特征圖對應的卷積核，表示的是第j個特征圖的偏置。*為卷積計算，f(.)為激活函數。

2.根據權利要求1所述的改進GoogLeNet神經網絡下多模態醫學圖像分類方法，其特征在于，所述步驟1中的三維影像為多模態醫學影像數據，包含核磁共振圖像、正電子發射型計算機斷層顯像兩種模態的圖像，輸出五種類別，分別是正常對照組、第一異常組、第二異常組、第三異常組和第四異常組。

3.根據權利要求1所述的改進GoogLeNet神經網絡下多模態醫學圖像分類方法，其特征在于，按照獲取樣本數據，以每36個為一個批次，采用隨機方式打亂數據；步驟3中，對獲取得到的不同類型數據進行預處理操作，包括核磁共振圖像、正電子發射型計算機斷層顯像模態圖像數據進行原點校正、分割、分割出白質、灰質，同時進行強度歸一化、去除顱骨、頸骨、圖像配準，并進行前聯合、后聯合對齊，運用數據增強方法，獲取影像變形、旋轉、縮放后的圖像。同時獲取冠狀圖、軸狀圖、矢狀圖三方向上的影像數據，統一預處理后圖像尺寸大小，劃分出訓練集和測試集。

4.根據權利要求3所述的改進GoogLeNet神經網絡下多模態醫學圖像分類方法，其特征在于，所述步驟8中，結合深度學習網絡模型分類結果和臨床評估數據MMSE表和CDR表來對第一異常組、第二異常組、第三異常組和第四異常組不同階段來進行綜合分類評估，在評估雙模態分類結果時，采用皮爾遜積矩相關系數，度量兩個雙模態特征下的相關性，其值介于-1與1之間，這里用γ表示，γ越接近于+1，并行網絡對各自模態影像預測的一致性越高。

5.根據權利要求4所述的改進GoogLeNet神經網絡下多模態醫學圖像分類方法，其特征在于，通過步驟8所計算的皮爾遜積矩相關系數，結合臨床評估數據MMSE表和CDR表來對阿爾茲海默病進行綜合評估；

分類融合定義如下：

其中，s_MMSE和s_CDR分別為臨床神經心理學檢查中的評估數據，此處采用均值；s_MAX(x_i,y_i)為基于兩種模態的深度神經網絡分類結果，取值步驟7中n個分類器的加權投票機制決策結果；S為結合深度神經網絡和臨床評估數據所作出的最終分類結果；

其中η有如下表示：

綜上做出基于此方法的不同類別之間的二分類和多分類情況結果。