[發(fā)明專利]一種基于圖像數(shù)據(jù)和點云數(shù)據(jù)的融合配準方法

有效

• 申請?zhí)枺?/td>: 202110376958.0
• 申請日: 2021-04-08
• 公開（公告）號: CN112802073B
• 公開（公告）日: 2021-07-06
• 發(fā)明（設計）人: 朱聞韜;饒璠;楊寶;陳凌;張鐸;申慧;葉宏偉;王瑤法
• 申請（專利權）人: 之江實驗室;明峰醫(yī)療系統(tǒng)股份有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/11;G06T7/136;G06T7/155
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發(fā)明公開了一種基于圖像數(shù)據(jù)和點云數(shù)據(jù)的融合配準方法，該方法首先通過圖像分割獲得組織器官的邊界點云或通過特征提取得到圖像內的特征點云，將圖像數(shù)據(jù)和點云數(shù)據(jù)輸入設計好的融合配準模型中，獲得配準好的圖像和點云數(shù)據(jù)以及變形場。所述融合配準模型包含圖像配準網(wǎng)絡和點云配準網(wǎng)絡，訓練時，損失函數(shù)由圖像距離項、點云距離項、約束圖像變形場和點云變形場的正則化項以及圖像變形場和點云變形場的一致性約束項組成。本發(fā)明的方法能提高圖像配準中邊界保持的能力，在配準前獲得細小結構點云信息時，該方法還能改善因細小結構隱藏在圖像背景而發(fā)生誤匹配的問題。

技術領域

本發(fā)明涉及圖像配準領域，尤其涉及一種基于深度學習并用于醫(yī)學圖像非剛性配準的方法。

背景技術

配準算法是通過求得圖像數(shù)據(jù)之間或點云數(shù)據(jù)之間的空間對應關系，將圖像數(shù)據(jù)或點云數(shù)據(jù)對齊起來的一種方法。在醫(yī)學領域中，它廣泛應用于圖像指導介入手術、圖像獲取、運動場量化分析以及數(shù)字人圖像生成。

在醫(yī)學領域中，根據(jù)采用數(shù)據(jù)的不同，配準算法主要分為圖像配準算法和點云配準算法。傳統(tǒng)醫(yī)學圖像配準方法一般由三個主要部分構成：目標函數(shù)、坐標變換模型以及迭代優(yōu)化策略。其中，按照目標函數(shù)中圖像相似性度量的定義方法可以分為兩類，第一類方法是直接使用灰度值，包括SSD（Sum of Squared Differences）和CC（CorrelationCoefficient）等；第二類方法是采用統(tǒng)計和信息熵的方法，包括MI（Mutual Information）、NMI（Normalized Mutual Information）和RC（Residual Complexity）等。近些年來，深度學習的迅速發(fā)展給圖像配準算法帶來的新的思路，早期主要采用UNet實現(xiàn)圖像配準，后來有研究人員提出了STN（Spatial Transformation Network）實現(xiàn)了顯式的非剛性圖像變換，改善了單純采用UNet易出現(xiàn)的分辨率丟失的問題。

也有不少學者開展了點云配準的相關研究。最早期的非剛性點云模型采用的是高斯混合模型和EM（Expectation Maximization）算法，后來有學者采用局部仿射變換對非剛性變形進行建模，并且目標函數(shù)表示成矩陣范數(shù)的形式，通過矩陣最優(yōu)化的算法求取最優(yōu)化的非剛性變形參數(shù)，該方法能顯著提高迭代的收斂速度。近些年來，隨著深度學習的迅速發(fā)展，也有不少學者提出了基于深度學習的點云配準算法，有學者提出了DCP（DeepClosest Point）網(wǎng)絡，采用神經(jīng)網(wǎng)絡實現(xiàn)了ICP（Iterative Closest Point）算法。也有學者提出了PointNet，采用MLP（Multi-Layer Perception）實現(xiàn)點云非剛性變形。但現(xiàn)有的研究多集中在剛性圖像配準上，多應用于大規(guī)模點云數(shù)據(jù)拼合上。基于深度學習的非剛性點云配準算法和融合圖像信息和點云信息的配準算法相關的研究還相對不足。

融合圖像信息和點云信息的非剛性配準主要面臨以下幾個問題：1）點云數(shù)據(jù)和圖像數(shù)據(jù)的非剛性模型不同，目前尚無統(tǒng)一的非剛性變換模型；2）點云數(shù)據(jù)的數(shù)據(jù)規(guī)模不定且索引無關，很難直接用于主流圖像配準算法所使用的UNet中；3）尚缺乏基于深度學習的融合圖像信息和點云信息的配準方法。

發(fā)明內容

本發(fā)明針對現(xiàn)有技術的不足，提出了一種基于圖像數(shù)據(jù)和點云數(shù)據(jù)的融合配準方法，該方法基于深度學習網(wǎng)絡，將圖像數(shù)據(jù)和點云數(shù)據(jù)同時輸入神經(jīng)網(wǎng)絡中，網(wǎng)絡輸出變形后的圖像和點云數(shù)據(jù)以及變形場數(shù)據(jù)。該方法能提高配準中邊界保持的能力，改善因細小結構隱藏在圖像背景而發(fā)生誤匹配的問題。

本發(fā)明的目的是通過以下技術方案來實現(xiàn)的：一種基于圖像數(shù)據(jù)和點云數(shù)據(jù)的融合配準方法，該方法通過訓練一融合配準模型對圖像及圖像對應的點云數(shù)據(jù)進行同步配準，輸出形變后的浮動圖像、點云數(shù)據(jù)以及圖像變形場和點云變形場；其中，所述融合配準模型包含圖像配準網(wǎng)絡和點云配準網(wǎng)絡，圖像配準網(wǎng)絡的輸入為參考圖像、浮動圖像對，點云配準網(wǎng)絡的輸入為參考圖像、浮動圖像對應的點云數(shù)據(jù)對，所述融合配準模型訓練時的損失函數(shù)由圖像距離項、點云距離項、約束圖像變形場和點云變形場的正則化項以及圖像變形場和點云變形場的一致性約束項組成。具體包括以下步驟：