[發(fā)明專利]一種基于二維特征點的雙目內(nèi)窺圖像三維拼接方法

在審

• 申請?zhí)枺?/td>: 202110204642.3
• 申請日: 2021-02-24
• 公開（公告）號: CN112862687A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計）人: 王立強;周長江;楊青;袁波;余浩
• 申請（專利權(quán)）人: 之江實驗室;浙江大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/136;G06T7/80;G06K9/46;G06K9/34
• 代理公司: 北京志霖恒遠知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11435
• 代理人: 奚麗萍

1.一種基于二維特征點的雙目內(nèi)窺圖像三維拼接方法，其特征在于：該方法通過左右視圖雙目匹配生成點云，并進行預(yù)處理；計算左視圖序列相鄰位點的二維特征點偏移量作為點云配準(zhǔn)的初始變換矩陣平移向量，從而實現(xiàn)內(nèi)窺圖像的三維拼接，該方法具體包括如下步驟：

S1.內(nèi)窺鏡左右視圖序列獲取：即移動雙目內(nèi)窺鏡的鏡頭，拍攝目標(biāo)器官左右視圖序列；

S2.點云生成：即使用SGBM算法對左右視圖進行雙目匹配生成視差圖，通過自適應(yīng)閾值對視差圖進行迭代均值插值，去除空洞，根據(jù)視差圖生成相應(yīng)的點云；

S3.點云預(yù)處理：即對初始點云進行離群點剔除、點云分割、降采樣預(yù)處理操作；

S4.相鄰左視圖二維特征匹配：即對左視圖序列相鄰位點進行SURF二維特征匹配，根據(jù)匹配點在相鄰兩位點的平均變化值作為偏移量并生成變換矩陣；

S5.點云配準(zhǔn)：即以二維特征匹配生成的變換矩陣作為點云序列的初始變化矩陣，進行ICP的配準(zhǔn)。

2.根據(jù)權(quán)利要求1所述的基于二維特征點的雙目內(nèi)窺圖像三維拼接方法，其特征在于,所述的步驟S2具體為：

對左視圖和右視圖通過SGBM算法進行雙目匹配；

將視差值從小到大排列，設(shè)定前10%處值為閾值，即小于此視差值的點為空洞；

對于空洞，計算其周圍3*3矩陣的平均值作為其新的視差值；

迭代上述操作。

3.根據(jù)權(quán)利要求1所述的基于二維特征點的雙目內(nèi)窺圖像三維拼接方法，其特征在于,所述的步驟S3具體為：

采用半徑式離群點剔除法，剔除初始點云中固定半徑的球體范圍內(nèi)幾乎沒有鄰域點的點；

通過點云分割截取Z值在固定范圍內(nèi)的點云區(qū)域，剔除因光照原因產(chǎn)生的大片空洞；

通過體素降采樣對去空洞的點云進行降采樣操作。

4.根據(jù)權(quán)利要求1所述的基于二維特征點的雙目內(nèi)窺圖像三維拼接方法，其特征在于,所述的步驟S4具體為：

通過SURF對左視圖序列相鄰位點進行二維特征匹配；

計算所有特征匹配點對在X和Y方向上偏移的平均距離；

在變換矩陣中，通過對平移向量 T=表示X和Y方向變換的 tx和ty賦相應(yīng)的值生成初始變換矩陣；

設(shè)置閾值為體素尺寸的15倍，使用該初始矩陣進行相鄰點云的ICP粗配準(zhǔn)；

設(shè)置閾值為體素尺寸的1.5倍，使用粗配準(zhǔn)得到的變換矩陣作為初始變換矩陣，進行相鄰點云的ICP精配準(zhǔn)。