[發明專利]基于CT圖像跨模態遷移學習的腎臟超聲圖像分割方法

在審

• 申請號: 202210963122.5
• 申請日: 2022-08-11
• 公開（公告）號: CN115439650A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 尹詩;郭帥子;盛翔宇;張杰
• 申請（專利權）人: 南京工業大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/25;G06T3/00;G06T7/62;G06N20/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 秦秋星

1.一種基于CT圖像跨模態遷移學習的腎臟超聲圖像分割方法，其特征在于，包括如下步驟：

利用帶腎臟區域標注的三維腎臟CT圖像獲取多角度二維腎臟CT圖像；

利用多角度二維腎臟CT圖像和真實腎臟超聲圖像構建訓練集，訓練風格遷移網絡，利用訓練好的風格遷移網絡對二維腎臟CT圖像進行風格遷移，生成帶標注的多角度模擬腎臟超聲圖像；

利用模擬腎臟超聲圖像和真實腎臟超聲圖像構建訓練集，訓練語義分割模型，利用訓練好的語義分割模型對腎臟超聲圖像進行圖像分割。

2.根據權利要求1所述的一種基于CT圖像跨模態遷移學習的腎臟超聲圖像分割方法，其特征在于，獲取二維腎臟CT圖像的步驟包括：

將三維腎臟CT標簽圖像的三維數組轉換為一維，在一維數組中以像素為1的點確定具體腎臟區域的坐標，抽取其中坐標設為分割點，以包含分割點的三個互相垂直的平面作為分割面，以分割點為中心，通過旋轉分割面切割出CT斷層圖像，CT斷層圖像即為二維腎臟CT圖像。

3.根據權利要求1所述的一種基于CT圖像跨模態遷移學習的腎臟超聲圖像分割方法，其特征在于，風格遷移網絡訓練過程中采用聯合訓練策略，將通過風格遷移網絡生成的模擬腎臟超聲圖像和對應的標簽圖放入語義分割模型中進行語義分割訓練，語義分割模型產生的損失函數傳遞到風格遷移網絡生成器的損失函數中，以優化風格遷移網絡生成器。

4.根據權利要求1所述的一種基于CT圖像跨模態遷移學習的腎臟超聲圖像分割方法，其特征在于，利用模擬腎臟超聲圖像構成的訓練集對ImageNet預訓練模型進行預訓練，再利用真實腎臟超聲圖像構建的訓練集，訓練加載了預訓練所得的權重參數的語義分割模型。

5.根據權利要求1-4任一所述的一種基于CT圖像跨模態遷移學習的腎臟超聲圖像分割方法，其特征在于，所述風格遷移網絡為CycleGAN模型。

6.根據權利要求1-4任一所述的一種基于CT圖像跨模態遷移學習的腎臟超聲圖像分割方法，其特征在于，所述語義分割模型為U-Net模型。

7.根據權利要求1所述的一種基于CT圖像跨模態遷移學習的腎臟超聲圖像分割方法，其特征在于，三維腎臟CT圖像和真實二維腎臟超聲圖像來自同一個體。

8.根據權利要求1所述的一種基于CT圖像跨模態遷移學習的腎臟超聲圖像分割方法，其特征在于，風格遷移網絡訓練之前對參與訓練數據集進行預處理：對二維CT圖像和真實超聲圖像進行roi處理，以提取出腎臟區域；二維CT圖像roi處理是通過與之對應的標簽確定腎臟的中心，再以腎臟的中心點作為一定大小矩形框的中心點提取出腎臟區域；真實超聲圖像的roi處理是人工大致標注出腎臟區域，并以此確定中心點，采用矩形框提取出一定大小的腎臟區域。