[發明專利]基于樣本生成和遷移學習的肝臟CT圖像多病變分類方法

有效

• 申請號: 202011159865.4
• 申請日: 2020-10-27
• 公開（公告）號: CN112241766B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 緱水平;曹思穎;周海彬;楊玉林;劉豪鋒;續溢男;駱安琳
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/26;G06V10/82;G06N3/0464;G06N3/048;G06N3/047;G06N3/0475;G06N3/094;G06N3/084
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;王璽鈞

1.基于樣本生成和遷移學習的肝臟CT圖像多病變分類方法，其特征在于，包括如下：

(1)從肝臟CT影像中提取得到420張2D肝臟圖像，并隨機選取該圖像的80％作為訓練集，其余的20％為測試集；

(2)構建基于全局注意力的肝臟器官分割網絡U：

(2a)在所有2D肝臟CT圖像上標注出肝臟器官的輪廓，存儲成mask圖像；

(2b)在現有的UNet分割網絡中引入全局注意力上采樣GAU模塊，實現如下：

(2b1)在現有UNet網絡的跳躍連接中加入多級GAU模塊，每一級的GAU模塊接收上一級GAU的輸出和編碼階段對應分辨率的低層特征圖作為輸入；

(2b2)每一級GAU模塊分別對上一級GAU輸出的高層特征圖進行全局池化處理，對編碼階段對應分辨率的低層特征圖進行3*3卷積處理，并對處理后的這兩個特征圖進行融合后輸出；

(2b3)將每一級GAU模塊的輸出結果與輸入的低層特征圖，以及上一級GAU輸出的特征圖上采樣的結果拼接；

(2b4)將拼接后的特征圖進行卷積操作并逐步上采樣；

(2c)將訓練集肝臟CT圖像和mask圖像輸入到引入了GAU模塊的分割網絡中進行訓練，利用Adam算法更新網絡中各層的權重參數，得到肝臟器官分割網絡U；

(3)構建肝臟病變檢測網絡F：

(3a)在所有的肝臟CT圖像中標注出病變類型為肝癌、肝囊腫和肝血管瘤的樣本和它們的位置信息，并將其制成VOC2007格式的數據集；

(3b)利用mask圖像從原肝臟CT圖像中提取出僅含有肝臟部分的圖像，并存儲成JPG格式的圖片；

(3c)將僅含有肝臟部分的圖像和病灶的位置標簽輸入到現有的Faster?R-CNN網絡中進行訓練，得到肝臟病變檢測網絡F；

(4)對樣本量不足其他類型一半的肝囊腫和肝血管瘤這兩類樣本進行數據生成：

(4a)將(3a)中標注好的病變區域從原CT圖像中提取出來作為真實病變樣本，采用resize操作將這些尺寸不一的真實病變樣本轉換成相同大小的樣本圖像，并通過旋轉對這些樣本進行擴充；

(4b)使用擴充后的真實肝囊腫病變樣本對深度卷積生成式對抗網絡DCGAN進行迭代訓練，得到肝囊腫樣本生成網絡HC；

(4c)生成服從均勻分布的隨機噪聲，輸入到肝囊腫樣本生成網絡HC中，生成新的肝囊腫病變樣本，并加入到已有的真實肝囊腫樣本中；

(4d)按照(4b)和(4c)的操作過程構建肝血管瘤樣本生成網絡HH，生成新的肝血管瘤樣本，并加入到已有的真實肝血管瘤樣本中；

(5)構建遷移深度學習的肝臟病變分類網絡T：

(5a)構建遷移深度學習網絡，即將現有的Inception?v3網絡特征提取部分的參數進行凍結，再在該網絡的輸出特征表示層之后加入新的softmax層，并根據病變類別數設置網絡輸出的維數；

(5b)將(4c)和(4d)中利用肝囊腫樣本生成網絡HC和肝血管瘤樣本生成網絡HH擴充后的病變樣本輸入到Inception?v3網絡中對其網絡參數進行迭代訓練，得到肝臟病變分類網絡T；

(6)對測試集待檢測肝臟CT圖像進行多病變檢測和分類：

(6a)將測試集中待分割的肝臟CT圖像輸入到(2)中構建的肝臟器官分割網絡U中，得到測試集的肝臟器官分割結果；

(6b)將測試集的分割結果輸入到(3)中構建的肝臟病變檢測網絡F中，檢測出測試集的病變區域；

(6c)將測試集病變區域從原肝臟CT圖像中提取出來，輸入到(5)中構建的肝臟病變分類網絡T中，得到最終的病變分類結果。