[發明專利]一種結構保持的弱監督多模態前列腺圖像配準方法

在審

• 申請號: 202210553346.9
• 申請日: 2022-05-20
• 公開（公告）號: CN114897948A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 何徐晨;吳夢麟
• 申請（專利權）人: 南京工業大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/00;G06T3/40;G06N3/08;G06N3/04;G06V10/82;G06V10/764
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 田凌濤

本發明涉及一種結構保持的弱監督多模態前列腺圖像配準方法，通過所設計步驟i至步驟ii，獲得前列腺圖像變換模型；然后執行步驟A至步驟B，應用前列腺圖像變換模型，實現目標對象所對應分別已知圖像中前列腺器官區域的三維前列腺磁共振(MRI)圖像、前列腺經直腸超聲(TRUS)圖像之間的配準；方案設計在弱監督多模態前列腺配準網絡中引入多級自注意力機制，為不同尺度的前列腺特征圖建立長遠距離的特征依賴關系，保證不同尺度前列腺特征圖能攜帶更精準的空間位移量信息，并將其反映到位移場上，從而實現在不損害前列腺變換精度的情況下,使配準后前列腺圖像中的內部器官結構得到更精細保持。

技術領域

本發明涉及一種結構保持的弱監督多模態前列腺圖像配準方法，屬于圖像處理技術領域。

背景技術

經直腸超聲圖像(TRUS)是癌癥診斷和圖像引導介入的標準成像方式，例如，活檢、近距離放射治療和冷凍療法，前列腺近距離放射治療通常使用高劑量率和對整個前列腺照射來治療前列腺癌。然而，由于缺乏軟組織對比度，在經直腸超聲成像圖像上很難準確地描繪出腫瘤和病變區域。磁共振圖像(MRI)提供了詳細的解剖和功能信息，這些信息在經直腸超聲圖像上不能獲得，并且由于其優越的軟組織對比度，磁共振圖像對前列腺癌的檢測和表征，具有比經直腸超聲圖像更高的靈敏度和特異性。但是，磁共振圖像價格昂貴,不像經直腸超聲圖像那樣廣泛普及，最重要的是，為前列腺介入提供實時圖像引導是不切實際的。因此，配準經直腸超聲圖像和磁共振圖像來提供具有改進的軟組織對比度的實時圖像引導是十分有必要的。

深度學習的出現極大得影響圖像配準研究的熱點。最初，深度學習技術主要用于增強迭代、基于灰度的醫學圖像配準，但配準速度較慢，對快速配準算法的需求推動基于端到端的有監督配準方法的發展。由于有監督學習獲取真實位移場比較困難，促使許多學者開發用于端到端的無監督配準框架。目前，無監督配準框架中重要的是圖像相似性量化。對于經直腸超聲圖像和磁共振圖像前列腺配準，由于兩者之間的圖像灰度和視野方面差異巨大，僅依靠無監督配準框架中的圖像相似性量化是非常困難的。

弱監督框架利用從經直腸超聲圖像和磁共振圖像中分割出來的前列腺解剖結構的分段重疊來設計損失函數，即采用標簽的相似性度量作為目標函數，反向迭代更新網絡的權重。使用解剖結構標簽突出顯示成對的前列腺圖像中相同的器官和它們之間的邊界、病理區域和其他解剖結構、以及出現在兩個圖像中的形態或生理特征,并且將其作為弱標簽訓練以預測低層的體素對應。但是在弱監督框架中產生的無約束位移場會導致移動圖像發生不合適的扭曲，從而產生不真實的器官外觀。盡管在弱監督框架中加入了一些正則化項(如:彎曲能量,位移梯度的L1或L2范數),在一定程度上限制了位移場,改善了扭曲移動圖像不真實的器官外觀,但是卻導致了配準精度下降。因此，如何有效地平衡弱監督多模態前列腺圖像配準中配準后前列腺圖像內部器官外貌保持和精度成為研究中亟需解決的問題。

發明內容

本發明所要解決的技術問題是提供一種結構保持的弱監督多模態前列腺圖像配準方法，采用全新應用框架，保證不同尺度前列腺特征圖能攜帶更精準的空間位移量信息，并將其反映到位移場上，從而實現在不損害前列腺變換精度的情況下,使配準后前列腺圖像中的內部器官結構得到更精細保持。

本發明為了解決上述技術問題采用以下技術方案：本發明設計了一種結構保持的弱監督多模態前列腺圖像配準方法，通過步驟i至步驟ii，獲得前列腺圖像變換模型；然后執行步驟A至步驟B，應用前列腺圖像變換模型，實現目標對象所對應分別已知圖像中前列腺器官區域的三維前列腺MRI圖像、前列腺TRUS圖像之間的配準；

步驟i.基于預設數量三維前列腺MRI樣本圖像、以及各三維前列腺MRI樣本圖像分別對應區分圖像中前列腺器官區域的二值化三維前列腺MRI樣本圖像，分別與各三維前列腺MRI樣本圖像同屬相同對象的各前列腺TRUS樣本圖像、以及各前列腺TRUS樣本圖像分別對應區分圖像中前列腺器官區域的各二值化前列腺TRUS樣本圖像，結合分別用于描述各三維前列腺MRI樣本圖像中前列腺器官區域變換至相同對象的前列腺TRUS樣本圖像中前列腺器官區域輪廓形狀的方法的各位移場，構建樣本集，然后進入步驟ii；