[發明專利]基于終身學習的胸膜病變分割的知識蒸餾方法及裝置

在審

• 申請號: 202110398753.2
• 申請日: 2021-04-14
• 公開（公告）號: CN112802023A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 杜強;歐陽金鵬;郭雨晨;聶方興
• 申請（專利權）人: 北京小白世紀網絡科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06N3/08
• 代理公司: 北京八月瓜知識產權代理有限公司 11543
• 代理人: 李斌

本發明公開了一種基于終身學習的胸膜病變分割的知識蒸餾方法及裝置，包括：將已訓練好的胸膜病變分病種多個原模型的softmax分布知識蒸餾后，得到新模型；對胸膜病變圖片集中CT圖像進行預處理；將預處理后的一張CT圖像分別輸入訓練好多個原模型，得到多個分割結果堆砌起來與原CT圖像標簽計算第一損失值；預測圖與原CT圖像的標簽計算損失后得到第二損失值；將第一損失值和第二損失值使用梯度下降算法進行加權求和；將梯度進行反向傳播，更新新模型的權重參數；添加新病種的情況下，將訓練好的一個新病種模型加入原模型，將新病種CT圖像加入原有胸膜病變圖片集，執行上述步驟，進行終身學習。本發明分割模型具有適應性強的優點。

技術領域

本發明涉及圖像分割領域，尤其是涉及基于終身學習的胸膜病變分割的知識蒸餾方法及裝置。

背景技術

隨著近幾年人工智能技術的飛速發展，如何將最先進的技術有效的應用于臨床領域，獲得了更多的關注。 數據、算法、計算力、專業性四大要素促進著醫療人工智能的發展。

深度學習使得很多計算機視覺任務的性能達到了前所未有的地步，復雜的模型會顯著提高深度學習任務的學習性能，但是同時帶來的是高額的儲存空間和計算資源的消耗。為了解決這一問題，模型壓縮的方法很大程度上緩解了計算資源和儲存空間的不足問題，而知識蒸餾方法正是模型壓縮下的具體方法。

首先，隨著信息技術的進步，各種數據呈爆炸式增長。其次，傳統機器學習算法對大數據環境下的應用問題很多已不再適用，這是因為傳統的機器學習算法大多只是關注于小樣本范圍內的分類等工作，對大數據環境缺乏適應能力。在這樣的背景下，終身機器學習應運而生。

發明內容

本發明的目的在于提供一種基于終身學習的胸膜病變分割的知識蒸餾方法及裝置，旨在解決傳統機器學習缺乏適應性的問題。

本發明提供一種基于終身學習的胸膜病變分割的知識蒸餾方法，包括：

S1、將已訓練好的胸膜病變分病種的多個原模型的softmax分布知識蒸餾后，得到原模型知識，將所述原模型知識賦予要建立的模型的softmax分布，得到一個新模型；

S2、對胸膜病變圖片集中的CT圖像進行預處理；

S3、將預處理后的一張CT圖像分別輸入訓練好的多個原模型，得到多個分割結果；

S4、將S3得到的多個分割結果堆砌起來與原CT圖像的標簽計算第一損失值；

S5、將S3的預處理后的一張CT圖像輸入到所述新模型得到預測圖，將所述預測圖與原CT圖像的標簽計算損失后得到第二損失值；

S6、將所述第一損失值和所述第二損失值使用梯度下降算法進行加權求和，得到用來更新新模型的梯度；

S7、將梯度進行反向傳播，更新新模型的權重參數；

S8、在添加新病種的情況下，將訓練好的一個新病種模型加入原模型，將新病種的CT圖像加入原有胸膜病變圖片集，執行步驟S1-S7，進行終身學習。

本發明還提供一種基于終身學習的胸膜病變分割的知識蒸餾裝置，包括：

蒸餾模塊，用于將已訓練好的胸膜病變分病種的多個原模型的softmax分布知識蒸餾后，得到原模型知識，將所述原模型知識賦予要建立的模型的softmax分布，得到一個新模型；

預處理模塊，用于對胸膜病變圖片集中的CT圖像進行預處理；

分割模塊，用于將預處理后的一張CT圖像分別輸入訓練好的多個原模型，得到多個分割結果；

第一損失值模塊，用于將分割模塊得到的多個分割結果堆砌起來與原CT圖像的標簽計算第一損失值；

第二損失值模塊，用于將分割模塊的預處理后的一張CT圖像輸入到所述新模型得到預測圖，將所述預測圖與原CT圖像的標簽計算損失后得到第二損失值；

梯度模塊，用于將所述第一損失值和所述第二損失值使用梯度下降算法進行加權求和，得到用來更新新模型的梯度；