[發明專利]一種基于二維特征點的雙目內窺圖像三維拼接方法

在審

• 申請號: 202110204642.3
• 申請日: 2021-02-24
• 公開（公告）號: CN112862687A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 王立強;周長江;楊青;袁波;余浩
• 申請（專利權）人: 之江實驗室;浙江大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/136;G06T7/80;G06K9/46;G06K9/34
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 奚麗萍

本發明公開了一種基于二維特征點的雙目內窺圖像三維拼接方法，該方法包括點云生成、點云預處理、二維特征點匹配、點云配準等步驟，移動雙目內窺鏡獲取各視角的左右圖序列后，通過SGBM(Semi?global block matching)進行雙目匹配生成點云，并進行離群點剔除和降采樣等預處理，對相鄰左視圖采用SURF（Speeded Up Robust Features）算法進行二維特征匹配，計算兩個視點偏移量，改變初始矩陣平移矩陣，通過ICP（Iterative Closest Point）算法對點云進行配準和拼接，本方法實現了對紋理特征不明顯的內窺圖像的三維重建，擴大了視場，同時利用雙目圖像獲得稠密點云，重建精度高，能更好地協助醫生手術操作。

技術領域

本發明涉及內窺鏡技術領域，具體涉及一種基于二維特征點的雙目內窺圖像三維拼接方法。

背景技術

內窺鏡能夠幫助醫生觀察到胃腸道中的真實場景，在臨床診斷和治療上具有廣泛的應用。雙目內窺鏡能夠提供三維信息，輔助醫生進行深度感知，從而提高手術效率和安全性。為了給內窺鏡醫師提供準確的三維信息，國內外研究人員嘗試對內窺鏡圖像進行三維重建以獲得目標表面的三維形態。

常見的三維重建方法如SfS(陰影恢復結構)，只能對單個視場進行重建，視野的局限性將會影響醫生的觀察，容易造成誤差。雖然SLAM(同時定位與地圖構建)和SfM(運動恢復結構)等方法也能擴大視場，但由于此類方法只能進行稀疏重建，生成的稀疏點云精度較差，無法滿足三維重建細節觀察的要求。

點云配準是立體視覺三維重建常用的方法，如隨機一致性采樣(RANSAC)是根據提取點云三維特征進行匹配的算法，胃腸道在正常情況下表面較為光滑，其紋理特征不足以通過RANSAC進行特征匹配。目前應用最為廣泛的點云配準方法——ICP，通過不斷地重復搜索以獲取最優的變換矩陣。雖然其容易理解、拼接效果理想，但過于依賴初始矩陣，不僅容易陷入局部最優解，而且需要巨大的計算資源。

發明內容

針對現有技術的不足，本發明提出了一種基于二維特征點的雙目內窺圖像三維拼接方法，實現對整個胃器官的稠密三維重建。

一種基于二維特征點的雙目內窺圖像三維拼接方法，該方法通過左右視圖雙目匹配生成點云，并進行預處理；計算左視圖序列相鄰位點的二維特征點偏移量作為點云配準的初始變換矩陣平移向量，從而實現內窺圖像的三維拼接，該方法具體包括如下步驟：

S1.內窺鏡左右視圖序列獲取：即移動雙目內窺鏡的鏡頭，拍攝目標器官左右視圖序列；

S2.點云生成：即使用SGBM算法對左右視圖進行雙目匹配生成視差圖，通過自適應閾值對視差圖進行迭代均值插值，去除空洞，根據視差圖生成相應的點云；

S3.點云預處理：即對初始點云進行離群點剔除、點云分割、降采樣預處理操作；

S4.相鄰左視圖二維特征匹配：即對左視圖序列相鄰位點進行SURF二維特征匹配，根據匹配點在相鄰兩位點的平均變化值作為偏移量并生成變換矩陣；

S5.點云配準：即以二維特征匹配生成的變換矩陣作為點云序列的初始變化矩陣，進行ICP的配準。

作為優選，所述的步驟S2具體為：

對左視圖和右視圖通過SGBM算法進行雙目匹配；

將視差值從小到大排列，設定前10％處值為閾值，即小于此視差值的點為空洞；

對于空洞，計算其周圍3*3矩陣的平均值作為其新的視差值；

迭代上述操作。

作為優選，所述的步驟S3具體為：

采用半徑式離群點剔除法，剔除初始點云中固定半徑的球體范圍內幾乎沒有鄰域點的點；