[發明專利]用于病理數據轉換的雙向GAN模型及其構建和應用方法

在審

• 申請號: 202010627094.0
• 申請日: 2020-07-01
• 公開（公告）號: CN111860618A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 程國華;羅夢妍;何林陽;季紅麗
• 申請（專利權）人: 杭州健培科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 無錫市匯誠永信專利代理事務所(普通合伙) 32260
• 代理人: 高科

本發明提供一種用于病理數據轉換的雙向GAN模型，包括：構相同但參數組不同的正向生成器以及反向生成器；結構相同的反向語義判別器以及正向語義判別器，在分類模型的基礎上增加像素加權模塊，反向語義判別器的輸入端連接反向生成器的輸出端，正向語義判別器的輸入端連接正向生成器的輸出端；結構相同的反向形態判別器以及正向形態判別器，在分類模型的基礎上增加通道加權模塊，反向形態判別器的輸入端連接反向生成器的輸出端，正向形態判別器的輸入端連接正向生成器的輸出端，該雙向GAN模型可實現病理數據的雙向轉換，進而輔助醫護人員對醫患人員的病變情況作出預測和診斷。

技術領域

本發明涉及醫學影像合成技術領域，特別涉及一種用于病理數據轉換的雙向GAN模型及其構建和應用方法。

背景技術

生成式對抗網絡(GAN)，由Goodfellow在2014年提出，旨在解決如何從訓練樣本中學習出新樣本，使得深度學習在數據生成領域的應用有了質的突破。以訓練樣本為圖像為例，GAN模型中的生成式模型基于輸入圖像生成一個模擬圖像，判別模型再去判斷這個模擬圖像和真實圖像之間的差異，兩個模型一起對抗訓練最終達到符合訓練目標要求的GAN模型。

GAN模型在醫療影像合成領域有著廣泛的應用，比如CN109493308A提供一種基于條件多判別生成對抗網絡的醫療圖像合成與分類方法，該方法利用兩個網絡在對抗過程中進行訓練，同時使用加入條件的多個判別網絡對生成圖像進行綜合判斷，旨在生成具有更多附加信息的合成影像；再比如CN110458786A提供一種先驗GAN模型醫學影像生成方法，該方法尋找未標注圖像和已標注圖像上的類似區域，對未標注圖像進行標注和修正，以減少或取消后期專家參與數據標注，然后其上提到的GAN模型還是只能進行數據的直接生成任務，即GAN模型只能完成數據的單向轉換，而且對訓練數據有要求。

在實際臨床中不僅僅是需要單向數據生成的GAN模型，更多的時候是需要雙向數據轉換的GAN模型。即，對于醫護人員來說，需要獲取病變后的病理圖像也需要獲取痊愈的病理圖像，這樣有利于協助醫護人員對疾病進行預測和診斷。然而臨床的病理圖像樣本量也有限，也較難獲取同一患者病變前后的病理圖像，進而也增大了目前GAN模型的訓練難度。比如，以突然爆發的新型肺炎為例，臨床上缺少針對該肺炎數據病變前后的病理圖像，進而使得目前GAN模型的訓練結果不佳，難以滿足輔助醫護人員診斷和預測肺炎情況的需求。

發明內容

本發明的目的在于提供一種用于病理數據轉換的雙向GAN模型及其構建和應用方法，該雙向GAN模型可實現病理數據的雙向轉換，即可實現陰性數據和陽性數據之間的轉換，進而輔助醫護人員對醫患人員的病變情況作出預測和診斷，特別地，該雙向GAN模型可用于肺炎數據的雙向轉換。

本發明的目的在于提供一種用于病理數據轉換的雙向GAN模型及其構建和應用方法，該雙向GAN模型引入雙判別器機制，分別從數據的形態和語義上進行判別，提升判別器模塊對生成數據的判別能力，在訓練過程中增強對生成器的監督作用。

本發明的目的在于提供一種用于病理數據轉換的雙向GAN模型及其構建和應用方法，該GAN模型可利用非配對數據完成模型的訓練，解決了配對病理數據難以收集，病理數據樣本量少的問題，且在訓練時可對病理數據進行篩選處理，以減少計算量和計算成本。

為實現以上目的，本技術方案提供一種用于病理數據轉換的雙向GAN模型，包括：

結構相同但參數組不同的正向生成器以及反向生成器；

結構相同的反向語義判別器以及正向語義判別器，在分類模型的基礎上增加像素加權模塊，反向語義判別器的輸入端連接反向生成器的輸出端，正向語義判別器的輸入端連接正向生成器的輸出端；

結構相同的反向形態判別器以及正向形態判別器，在分類模型的基礎上增加通道加權模塊，反向形態判別器的輸入端連接反向生成器的輸出端，正向形態判別器的輸入端連接正向生成器的輸出端。