[發明專利]基于深度學習的胰腺癌腫瘤自動識別系統、計算機設備、存儲介質

有效

• 申請號: 201811026043.1
• 申請日: 2018-09-04
• 公開（公告）號: CN109242844B
• 公開（公告）日: 2021-08-06
• 發明（設計）人: 孫品;劉尚龍;盧云;李帥
• 申請（專利權）人: 青島大學附屬醫院
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 青島易維申知識產權代理事務所(普通合伙) 37310
• 代理人: 于正友

1.一種基于深度學習的胰腺癌腫瘤自動識別系統，其特征在于，包括深度學習模型，所述深度學習模型包括：特征提取網絡、區域生成網絡和Fast R-CNN目標檢測網絡;

所述特征提取網絡用于對胰腺癌腫瘤的圖像特征進行抽象，并生成卷積特征圖；

所述區域生成網絡用于對所述卷積特征圖中存在的所有特征進行滑動掃描，在每個滑動窗口位置選出多個候選區域，所述候選區域為可能的胰腺癌腫瘤區域；

所述Fast R-CNN目標檢測網絡用于對卷積特征圖以及所述候選區域進行進一步回歸與分類，最終輸出胰腺癌腫瘤區域的位置以及概率；

所述系統包括：訓練與識別兩個過程；

所述訓練過程包括以下步驟：

步驟1，將一例已標識完成的胰腺癌增強CT動脈期、靜脈期、平衡期序列圖像輸入所述深度學習模型，所述深度學習模型使用在ImageNet中預訓練好的具有13個卷積層和3個全連接層的VGG16進行特征提取網絡的初始化，區域生成網絡以及Fast R-CNN目標檢測網絡感興趣區域特征向量中所有權值被賦予符合偏差值為100的零平均高斯分布的隨機數值；圖像通過ImageNet中預訓練好的具有13個卷積層和3個全連接層的VGG16網絡模型輸出卷積特征圖，利用該卷積特征圖與轉移淋巴結標記信息對區域生成網絡進行參數調整，完成一次區域生成網絡的訓練；

步驟2，將相同的圖像輸入深度學習模型，圖像通過ImageNet中預訓練好的具有13個卷積層和3個全連接層的VGG16網絡模型輸出卷積特征圖，卷積特征圖輸入完成第一次訓練的區域生成網絡生成候選區域，與卷積特征圖一同輸入Fast R-CNN目標檢測網絡，由Fast R-CNN目標檢測網絡對所述卷積特征圖以及所述候選區域進行進一步回歸與分類獲得輸出，并通過反向傳播對Fast R-CNN目標檢測網絡進行一次訓練；

步驟3，設置Fast R-CNN目標檢測網絡及其與區域生成網絡共享的所有卷積層的學習率為0，對完成第一次訓練的Fast R-CNN目標檢測網絡輸入相同的圖像，對區域生成網絡特有的卷積層進行重新訓練；

步驟4，設置區域生成網絡及其與Fast R-CNN目標檢測網絡共享的所有卷積層的學習率為0，輸入相同的圖像，對Fast R-CNN目標檢測網絡特有的卷積層進行重新訓練。

2.如權利要求1所述的系統，其特征在于，所述特征提取網絡使用VGG16網絡模型對胰腺癌腫瘤的圖像特征進行抽象，并生成卷積特征圖。

3.如權利要求1所述的系統，其特征在于，所述在每個滑動窗口位置選出多個候選區域的過程具體為：所述滑動窗口的中心為錨點，為了得到所述候選區域，為每個錨點分配一個二值類別標簽，是目標或不是目標；然后，對于具有與實際邊界框的重疊最高交并比IoU的錨點，或者具有與實際邊界框的重疊交并比IoU超過0.7 的錨點，分配一個正標簽；對于所有的真實邊界框，如果一個錨點的IoU比率低于0.3，給該錨點分配一個負標簽。

4.如權利要求1所述的系統，其特征在于，對于可能為胰腺癌腫瘤的區域，所述區域生成網絡利用非極大值抑制方法合并鄰近區域。

5.如權利要求1所述的系統，其特征在于，所述Fast R-CNN目標檢測網絡和區域生成網絡共享所述卷積特征圖，所述Fast R-CNN目標檢測網絡包括感興趣區域池化層以及后面的兩個子全連接層，由感興趣區域特征向量對所述卷積特征圖以及所述候選區域進行進一步回歸與分類，得到預測邊界框的坐標與類別的概率分數，最終輸出胰腺癌腫瘤區域的位置以及概率。

6.如權利要求1所述的系統，其特征在于，將區域生成網絡與Fast R-CNN目標檢測網絡進行兩階段交替訓練，在迭代中不斷微調參數，再通過bounding box回歸校準候選框位置。