[發明專利]基于CT圖像跨模態遷移學習的腎臟超聲圖像分割方法

在審

• 申請號: 202210963122.5
• 申請日: 2022-08-11
• 公開（公告）號: CN115439650A
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 尹詩;郭帥子;盛翔宇;張杰
• 申請（專利權）人: 南京工業大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/25;G06T3/00;G06T7/62;G06N20/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 秦秋星

本發明公開一種基于CT腎臟圖像跨模態遷移學習的腎臟超聲圖像分割方法，包括：通過旋轉的方法多角度切割帶標簽的三維CT圖像生成多角度二維腎臟CT圖像；利用風格遷移網絡生成帶標簽的模擬超聲數據集；利用多角度模擬腎臟超聲圖像提高腎臟超聲圖像分割網絡泛化性能；在訓練策略上首先利用風格遷移網絡和語義分割網絡聯合訓練，最后再利用真實標注的腎臟超聲圖像進行訓練。本發明在腎臟超聲圖像語義分割網絡有如下優勢：可以有效解決腎臟超聲圖像標注困難；可以降低人工標注的成本；解決腎臟分割模型訓練的過擬合問題，從而提高分割準確度。具有很好的泛化能力，即可以在不同形態、不同位置的腎臟超聲圖像上進行分割。

技術領域

本發明屬于醫學影像處理技術領域，更具體地，涉及一種基于電子計算機斷層掃描圖像(CT圖像)跨模態遷移學習的腎臟超聲圖像分割訓練方法。

背景技術

超聲成像因其安全、實時、低廉的獲取特點，已被廣泛應用于各種急性和慢性腎病篩查、診斷和預后,包括腎結石、腎癌、慢性腎病、兒童先天性腎臟及尿路畸形等各種腎臟疾病。在臨床各種腎病診斷與評估中，腎臟超聲圖像分割具有重要的意義，主要用于：1.評估腎臟參數，即其大小和體積，以診斷潛在的疾病；2.評估腎臟形態和功能；3.定位腎臟中存在的異常或病理區域；4.輔助治療/介入計劃的實施決策以及實施過程；5.腎癌等介入治療后的術后隨訪。準確快速的腎臟區域分割是從超聲圖像中提取腎臟疾病診斷信息的保證,也是進行定量分析和實時監控中精確定位的重要環節。然而目前超聲圖像中的腎臟區域基本仍然通過專業超聲科醫生在圖像采集過程中針對不同切面動態圖像手動提取。手動提取特征需要耗費專業超聲科醫生大量時間和精力，并且需要觀察者之間具有適度的可靠性。目前我國專業超聲科醫生缺口巨大，任務繁重。隨著計算機技術尤其是人工智能(Artificial Intelligence，AI)的高速發展，通過AI輔助腎臟超聲圖像診斷已經成為必然趨勢。腎臟超聲圖像分割算法是AI輔助腎病精準診斷與治療中關鍵步驟，分割的輸出結果可以輔助醫生或者下一步的分類算法進行臨床解剖特征提取與診斷評估。準確快速的腎臟超聲圖像分割算法不僅可以有效的降低腎臟疾病診療成本，還可以輔助篩查診斷提高各種腎臟疾病知曉率，尤其對于一些缺少高水平專家的基層醫療機構尤其具有重要意義。

近幾年深度學習算法已成功應用到一系列超聲圖像自動分析任務中，例如病變/結節分類、器官分割和物體檢測等，并取得了關鍵性突破。作為一種表示學習方法，深度學習可以直接從所獲取的原始數據中自動學習中級和高級的抽象特征，為基于超聲圖像的腎臟疾病計算機輔助診斷技術研究提供了新思路。尤其是基于深度學習的語義分割網絡在自然圖像以及醫學圖像自動分割任務中取得了突破性進展，并在腎臟超聲圖像自動分割任務中顯示出了巨大的潛力。然而，在任意視角各種尺度下的二維超聲斷面掃查策略要求訓練的腎臟超聲圖像分割網絡具有非常強的泛化能力。在訓練分割網絡的腎臟超聲圖像像素級標注工作中，醫生通常只能手動標注幾張代表性的斷面圖作為標簽。現有工作主要是采用基于自然圖像尤其是ImageNet數據集上的遷移學習作為預訓練策略，然而這種方法的問題均在于自然圖像與真實超聲圖像掃描之間在成像方式上仍存在較大的差異性，使得訓練的網絡很難完全適應復雜多變的真實超聲器官圖像數據。或利用數據增強策略包括空間變換、加入隨機噪聲以及生成對抗網絡等方式生成的模擬超聲數據加入網絡訓練中防止過擬合，然而該方法仍需要大量的手工標注標簽。

綜上所述，小樣本標注與泛化能力高要求的矛盾問題在腎臟超聲圖像分割任務中尤為突出。因此如何提高小樣本標注下的腎臟超聲圖像分割網絡的準確度與魯棒性，成為研究中亟需解決的問題。

發明內容

本發明通過充分挖掘并利用三維CT圖像能夠從不同方向切片出大量二維的CT圖像，再通過風格遷移網絡生成模擬超聲圖像，而后進行分割網絡訓練。本發明解決了分割網絡訓練過程中帶標簽的真實超聲數據集較小所導致的有效信息不足問題，可以降低人工標注的成本；解決腎臟分割模型訓練的過擬合問題，從而提高分割準確度。此外，本發明提供了一種分割網絡訓練策略，可以有效提高分割準確度和泛化性。