[發(fā)明專利]一種內(nèi)窺鏡圖像序列中輪廓稠密特征點(diǎn)描述和匹配的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010915397.2
• 申請(qǐng)日: 2020-09-03
• 公開（公告）號(hào): CN112435211B
• 公開（公告）日: 2022-04-26
• 發(fā)明（設(shè)計(jì)）人: 潘俊君;李冉陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/246;G06T7/62;G06V10/40;G06V10/44;G06V10/46;A61B34/20
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 張乾楨

本發(fā)明提出了一種內(nèi)窺鏡圖像序列中輪廓稠密特征點(diǎn)描述和匹配的方法，包括以下步驟：第一步：基于雙邊濾波器增強(qiáng)自適應(yīng)RPCA分解所獲得的低秩圖像的邊緣輪廓，然后基于梯度算子提取邊緣輪廓信息，并通過形態(tài)學(xué)運(yùn)算獲得目標(biāo)的輪廓形狀；第二步：通過提取輪廓形狀上頂點(diǎn)的多尺度幾何特征描述子，使其對(duì)輪廓形狀的尺度、大小、旋轉(zhuǎn)變化魯棒；第三步：利用FFT對(duì)輪廓形狀的稠密特征描述子降維，通過計(jì)算兩個(gè)輪廓的特征矩陣間的距離大小來衡量不同輪廓間的相似程度，根據(jù)目標(biāo)輪廓形狀，在內(nèi)窺鏡圖像序列中對(duì)目標(biāo)輪廓形狀進(jìn)行匹配、跟蹤，在每一幀中計(jì)算獲得目標(biāo)輪廓形狀；第四步：基于時(shí)空連續(xù)性原理，運(yùn)用目標(biāo)輪廓形狀的關(guān)鍵張量空間對(duì)目標(biāo)輪廓的跟蹤、匹配結(jié)果進(jìn)行優(yōu)化。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種能夠針對(duì)內(nèi)窺鏡圖像序列中軟組織表面輪廓實(shí)現(xiàn)魯棒、精準(zhǔn)的輪廓形狀提取、稠密特征點(diǎn)描述、及輪廓形狀匹配的方法。

背景技術(shù)

AR/MR手術(shù)導(dǎo)航系統(tǒng)取得了巨大的成功。然而，由于一些技術(shù)上的困難，它們?cè)谙瘍?nèi)鏡和腹腔鏡檢查中很少被應(yīng)用。首先，軟組織表面光滑，紋理稀疏，表面輪廓相似度很高。現(xiàn)有的特征提取方法大多無法獲得軟組織表面的稠密特征描述，這將給單眼視覺的二維/三維重建帶來明顯的誤差。因此，AR/MR手術(shù)導(dǎo)航系統(tǒng)在軟組織二維/三維重建與術(shù)前三維模型之間難以獲得準(zhǔn)確的非剛性配準(zhǔn)。其次，軟組織在導(dǎo)航過程中經(jīng)常發(fā)生各種變形，尤其是消化器官。它會(huì)嚴(yán)重影響基于特征點(diǎn)提取和匹配的軟組織表面跟蹤。因此，現(xiàn)有的方法大多難以解決可變形目標(biāo)表面的精確魯棒跟蹤問題。作為AR/MR手術(shù)導(dǎo)航的關(guān)鍵步驟，軟組織表面輪廓的致密特征提取和特征點(diǎn)匹配已經(jīng)成為消化內(nèi)鏡導(dǎo)航系統(tǒng)的核心技術(shù)挑戰(zhàn)。

現(xiàn)有的AR/MR手術(shù)導(dǎo)航系統(tǒng)中，軟組織表面紋理稀疏，缺乏有意義的特征點(diǎn)，難以對(duì)軟組織表面進(jìn)行跟蹤。然而，軟組織表面的輪廓形狀特征非常重要，可以作為一種穩(wěn)定的特征來改善其二維/三維重建過程。目前，二維/三維重建中常用的特征提取方法主要有：尺度不變特征變換(Scale Invariant Feature Transform，SIFT)、加速魯棒特征(SpeededUp Robust Features，SURF)、快速定向旋轉(zhuǎn)簡(jiǎn)(Oriented FAST and Rotated BRIEF，ORB)、Harris角、方向梯度直方圖(Histogram of Oriented Gridients，HOG)等。輪廓形狀提取方法主要有以下幾種：(1)經(jīng)典的邊緣提取方法，如Robert算子，Sobel算子、Prewitt算子、Laplace算子、Canny算子；(2)基于學(xué)習(xí)的輪廓形狀提取方法。目標(biāo)跟蹤/匹配方法主要有：(1)經(jīng)典方法跟蹤方法，如Lucas-Kanade光流跟蹤，KCF、DCF；(2)基于深度學(xué)習(xí)的目標(biāo)跟蹤方法。雖然現(xiàn)有的方法在很多場(chǎng)景中已經(jīng)取得了很大成功，但現(xiàn)有的目標(biāo)跟蹤方法大多都是針對(duì)目標(biāo)的將目標(biāo)與背景區(qū)分開或使用邊界框來預(yù)測(cè)目標(biāo)在一幀中的位置。它可以只找到目標(biāo)的全局位置，很難實(shí)現(xiàn)魯邦跟蹤和特征匹配。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是：克服現(xiàn)有輪廓檢測(cè)過程中對(duì)噪聲、高光敏感的問題，提供一種能夠針對(duì)內(nèi)窺鏡圖像序列中軟組織表面輪廓實(shí)現(xiàn)魯棒、精準(zhǔn)的輪廓形狀提取、稠密特征點(diǎn)描述、及輪廓形狀匹配的方法，該方法滿足了不同場(chǎng)景的要求，應(yīng)用范圍廣。

本發(fā)明采用的技術(shù)方案為：一種內(nèi)窺鏡圖像序列中輪廓稠密特征點(diǎn)描述和匹配的方法，包括以下步驟：

第一步：基于雙邊濾波器增強(qiáng)自適應(yīng)RPCA分解所獲得的低秩圖像的邊緣輪廓，減少圖像中的干擾，然后基于梯度算子提取邊緣輪廓信息，并通過形態(tài)學(xué)運(yùn)算獲得目標(biāo)的輪廓形狀；