[發(fā)明專利]基于聯(lián)合顯著圖的全局到局部非剛性圖像配準方法及裝置

有效

• 申請?zhí)枺?/td>: 201910565742.1
• 申請日: 2019-06-27
• 公開（公告）號: CN112150404B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設計）人: 秦斌杰;傅澤山
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/30;G06T3/40
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

本發(fā)明涉及一種基于聯(lián)合顯著圖的全局到局部非剛性圖像配準方法及裝置，該方法基于預訓練的圖像配準模型對待配準的參考圖像和浮動圖像進行處理，獲得精確重建形變場，所述圖像配準模型包括基于無監(jiān)督誤差函數的全局粗糙估計網絡和局部精確重建網絡，所述精確重建形變場的具體獲得步驟包括：1)拼接所述參考圖像和浮動圖像，輸入全局粗糙估計網絡，得到粗糙形變場；2)基于粗糙形變場和浮動圖像進行插值，獲取形變圖像；對形變圖像和參考圖像進行聯(lián)合顯著圖提取，獲取聯(lián)合顯著圖；3)拼接聯(lián)合顯著圖和粗糙形變場，輸入局部精確重建網絡，獲取精確重建形變場。與現有技術相比，本發(fā)明圖像配準的速度更快、精度更高，并且適用于無真值標簽的應用場景。

技術領域

本發(fā)明涉及圖像配準領域，尤其是涉及一種基于聯(lián)合顯著圖的全局到局部非剛性圖像配準方法及裝置。

背景技術

在近幾十年間，醫(yī)學成像原理及診斷設備得到了不斷的豐富與發(fā)展。這些不斷改進的醫(yī)學成像設備為醫(yī)生提供更多高分辨率、多模態(tài)以及不同結構和功能信息的醫(yī)學圖像，為臨床疾病的形成原因、病情發(fā)展、監(jiān)控與治療帶來了更加有明確意義的指導信息。如何將這些不同模式和不同時段圖像中有價值的結構和功能信息整合對應起來，這是醫(yī)學成像、圖像處理、模式識別與人工智能等領域既關鍵又基礎的研究問題，被稱為圖像配準(Image Registration)。圖像配準旨在建立兩幅圖像中對應像素點位置的正確對應關系。針對二維圖像配準，算法輸出為對應像素點對的二維位移向量場。

在醫(yī)學圖像的場景下，由于病理性因素、物理性因素常常會帶來圖像異常，導致圖像結構對應性缺失以及局部的復雜大形變的異常情形，給圖像非剛性配準研究帶來了更大的挑戰(zhàn)。剛性體是指那些不隨人體生理活動發(fā)生變化或變化極小的人體組織或器官；非剛性體是指由于不自主生理活動的影響，其位置、尺寸和形狀發(fā)生較大變化的組織或器官。主要面臨著兩大挑戰(zhàn)：第一，當代社會隨著成像技術和設備性能的提升，具有豐富結構和功能信息的多模態(tài)、高維度醫(yī)學圖像數據還在不斷爆發(fā)式增長中，傳統(tǒng)圖像配準算法低計算效率的缺點也逐漸顯現出來。在各種交叉領域基礎研究和臨床實際應用中，研發(fā)的圖像配準算法如何既保證配準精度，同時還能確保圖像配準速度是一項不可避免的嚴峻挑戰(zhàn)。第二，醫(yī)學圖像由于一些生理病理的變化性因素，如病灶的增生與復發(fā)、腫瘤切除導致的結構空缺等因素導致圖像對應性缺失且伴隨著復雜局部大形變情形，這種異常情形是國內外研究領域所公認的難點問題，嚴重增加了非剛性圖像配準的難度。這種圖像異常的存在破壞了傳統(tǒng)配準算法認為輸入圖像對之間像素點應當存在一一對應映射關系的假設前提，因而使得傳統(tǒng)圖像配準方法無法準確處理這些異常問題。圖像配準領域的研究者們通常將這種困難的圖像配準問題稱為對應性缺失(Missing Correspondence)和局部大形變(LargeLocal Deformation)。理想的非剛性圖像配準算法應當高精準度、魯棒性、高計算效率的處理好存在圖像局部大形變與對應性缺失的情形的困難配準問題。

總體而言，當下的非剛性配準算法無法同時兼顧三者，其缺陷歸納如下：

1.傳統(tǒng)的基于灰度信息、基于特征的非剛性配準算法以及基于深度學習的非剛性配準網絡均無應對待配準圖像中存在部分對應性結構缺失問題的魯班性機制；

2.在配準精度上，目前的非剛性配準算法仍然無法很好應對伴隨結構缺失導致的局部復雜大形變問題的挑戰(zhàn)。

發(fā)明內容

本發(fā)明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于聯(lián)合顯著圖的全局到局部非剛性圖像配準方法及裝置。

本發(fā)明的目的可以通過以下技術方案來實現：

一種基于聯(lián)合顯著圖的全局到局部非剛性圖像配準方法，該方法基于預訓練的圖像配準模型對待配準的參考圖像和浮動圖像進行處理，獲得精確重建形變場，所述圖像配準模型包括基于無監(jiān)督誤差函數的全局粗糙估計網絡和局部精確重建網絡，所述精確重建形變場的具體獲得步驟包括：

S1：拼接所述參考圖像和浮動圖像，輸入到全局粗糙估計網絡，得到粗糙形變場；