[發明專利]一種基于VGG孿生網絡的腦膠質瘤關鍵幀智能抓取系統

在審

• 申請號: 202110062021.6
• 申請日: 2021-01-18
• 公開（公告）號: CN112734737A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 曹玉珍;張欽皓;余輝;萬振;王義義;王玉虎;李金秋;孫敬來
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

1.一種基于VGG孿生網絡的腦膠質瘤關鍵幀智能抓取系統，包括，

預處理模塊，其作用是對腦部MR圖像進行顱骨剝離、線性配準、空間分辨率重新采樣預處理，以減少無效圖像信息對圖像處理的影響。

分割標注模塊，其作用是對預處理完的腦部MR圖像，進行圖像的分割標注，將感興趣區域的三個區域：水腫區、壞死區及增強區，分別用不同像素值進行標注，并添加索引圖像，分別用不同顏色代表腦膠質瘤的水腫區、壞死區和增強區，以實現標分割標注的可視化；

構建數據庫模塊，從已有的病人腦部MR三維圖像中挑選出不同類型的圖像數據，包含：軸向非核心區圖像、軸向水腫區圖像、軸向關鍵幀、冠狀面非核心區圖像、冠狀面水腫區圖像、冠狀面關鍵幀、矢狀面非核心區圖像、矢狀面水腫區圖像、矢狀面關鍵幀、黑色背景圖像；每個類型的圖像數據被劃分到同一組別；數據庫圖像一共十組，其中三組，包括軸向關鍵幀、軸向關鍵幀和矢狀面關鍵幀，分別為三個方向上的關鍵幀，其他七個組別進行對比訓練；

VGG孿生網絡構建及訓練模塊

構建VGG孿生網絡，將預處理后的數據庫十組圖像劃分訓練集和測試集，采用十折交叉驗證法進行訓練，VGG孿生網絡由輸入層、卷積層、最大池化層、全連接層和輸出層組成；訓練方式為每次任意選取任意兩組圖像進行訓練，如果圖像來源組別相同，則給予網絡輸入標簽為1的信息；如果圖像來源組別不同，則給予網絡輸入標簽為0的信息；

首先將預處理后的任意兩組圖像進行resize處理，輸入初始網絡權重，通過孿生神經網絡的卷積層和池化層進行對兩組圖像的特征提取，獲取到統一尺度下的不同圖像數據的特征信息，將特征信息一維化，求取兩個特征向量的插值L1范數后，經過全連接層取sigmoid函數，得出圖像數據相似度數值，利用標簽信息和圖像數據相似度數值來計算交叉熵損失函數來進行反向傳播更新權重信息，直到得到預期的loss值停止訓練；

關鍵幀提取模塊

對于新的圖像，將其預處理并進行對腦腫瘤區域的分割標注后，與同一方向的關鍵幀圖像輸入VGG孿生網絡模型進行圖像數據進行特征提取，求取兩個特征向量的插值L1范數后，經過全連接層取sigmoid函數，得出此圖像與關鍵幀圖像數據相似度數值，在與同一方向的n幅關鍵幀圖像進行相似度比較時，如果任一次相似度數值結果小于0.5，即排除此圖像為此方向上的圖像的關鍵幀，否則，將此新的圖像歸類為同一方向上的關鍵幀，實現關鍵幀的智能抓取，其中，n＞5。