[發明專利]一種面向CT圖像分割的知識蒸餾方法

在審

• 申請號: 202210027477.3
• 申請日: 2022-01-11
• 公開（公告）號: CN114529551A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 卜佳俊;秦典;王偉林;丁元;顧靜軍;劉哲;吳磊;王志華
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種面向CT圖像分割的知識蒸餾方法，其特征在于，包括如下步驟：

(1)特征圖對提取：將同一份CT圖像輸入學生神經網絡和教師神經網絡，并從兩種網絡中分別提取尺寸相同的特征圖。

(2)提取語義區域代表特征：按照輸入CT圖像對應的各語義標注區域，在步驟(1)提取出來的教師特征圖和學生特征圖上，找出各區域內的特征，計算出各語義區域代表特征。

(3)計算蒸餾誤差損失：對步驟(2)計算出來的各語義區域代表特征，兩兩之間計算相似度，將學生模型和教師模型的區域語義相似度差值，作為蒸餾誤差損失值；

(4)完成訓練：將步驟(3)計算出的蒸餾誤差損失和原本學生模型的分割任務損失，合并后，回傳給學生模型，更新學生模型的網絡參數完成訓練，得到最終的輕量級CT圖像自動分割模型。

(5)將待分割CT圖像，輸入步驟(5)訓練好的輕量級自動分割模型，得到分割結果。

2.根據權利要求1所述面向CT圖像分割的知識蒸餾方法，其特征在于，所述步驟(1)包括如下子步驟：

(1.1)將一份待分割的CT圖像輸入學生神經網絡S，同時輸入訓練好的教師神經網絡T。

(1.2)在網絡S和網絡T的卷積過程中，提取出一對空間尺寸相同的特征圖，分別為學生特征圖ε^s和教師特征圖ε^t。

3.根據權利要求2所述面向CT圖像分割的知識蒸餾方法，其特征在于，步驟(1.1)中，采用的教師神經網絡T的分割效果優于學生神經網絡S。

4.根據權利要求2所述面向CT圖像分割的知識蒸餾方法，其特征在于，步驟(1.2)中，提取的學生特征圖和教師特征圖的通道數量不同。

5.根據權利要求1所述面向CT圖像分割的知識蒸餾方法，其特征在于，所述步驟(2)包括如下子步驟：

(2.1)根據步驟(1.1)輸入的待分割CT圖像對應的分割標注圖M，將該標注圖線性縮放為與學生特征圖ε^s空間尺寸相同的新標注圖m。

(2.2)針對新標注圖m中標注的每個語義區域，建立跟m大小一樣的二元標注圖m₁,m₂，……m_n。n是語義區域的數量。每一個二元標注圖中，僅有目標語義區域的元素值為1，其他區域元素值為0。

(2.3)將每一個語義區域的二元標注圖與學生特征圖ε^s逐像素相乘后求取平均值，得到學生區域語義代表特征

(2.4)將每一個語義區域的二元標注圖與和教師特征圖ε^t逐像素相乘后求取平均值，得到教師區域語義代表特征

6.根據權利要求1所述面向CT圖像分割的知識蒸餾方法，其特征在于，所述步驟(3)包括如下子步驟：

(3.1)對步驟(2.3)計算出的學生區域語義代表特征，兩兩之間計算余弦相似度，得到學生語義相似度圖

(3.2)對步驟(2.4)計算出的教師區域語義代表特征，兩兩之間計算余弦相似度，得到教師語義相似度圖

(3.4)計算與差值的L2范數。得到蒸餾誤差損失值L_RA。

7.根據權利要求1所述面向CT圖像分割的知識蒸餾方法，其特征在于，步驟(4)中，將步驟(3)計算出的蒸餾誤差損失L_RA和原本學生模型的分割任務損失L_seg，通過以下公式合并：

L＝L_seg+αL_RA

其中，α是自定義權重，L為合并后的最終損失值。

8.根據權利要求7所述面向CT圖像分割的知識蒸餾方法，其特征在于，步驟(4)中，權重α可以為0.1。

9.根據權利要求1所述面向CT圖像分割的知識蒸餾方法，其特征在于，步驟(4)中，任務本身的分割損失，由預測分割圖和標注分割圖，進行交叉熵計算得出。