[發(fā)明專利]基于光流獲得組織腔體三維圖像的處理方法

有效

• 申請?zhí)枺?/td>: 202011120581.4
• 申請日: 2020-10-19
• 公開（公告）號: CN112348940B
• 公開（公告）日: 2022-11-01
• 發(fā)明（設(shè)計(jì)）人: 黃培海
• 申請（專利權(quán)）人: 深圳硅基智控科技有限公司
• 主分類號: G06T15/06
• 分類號: G06T15/06;G06T15/04;G06T7/33;G06T5/00;G06N3/08;G06N3/04
• 代理公司: 深圳舍穆專利代理事務(wù)所(特殊普通合伙) 44398
• 代理人: 邱爽

本公開描述了一種基于光流獲得組織腔體三維圖像的處理方法，其包括以下步驟：具有褶皺內(nèi)壁的組織腔體內(nèi)沿著第一方向針對組織腔體內(nèi)的重建區(qū)域采集第一圖像，并使膠囊內(nèi)窺鏡在組織腔體內(nèi)沿著第二方向針對重建區(qū)域采集第二圖像，第一方向與第二方向形成有夾角；計(jì)算重建區(qū)域在第一圖像內(nèi)的第一像素區(qū)域與重建區(qū)域在第二圖像內(nèi)與第一像素區(qū)域?qū)?yīng)的第二像素區(qū)域的光流；在第一像素區(qū)域中提取包括多個特征點(diǎn)的第一特征點(diǎn)集，并基于第一特征點(diǎn)集和光流獲得在第二像素區(qū)域中與第一特征點(diǎn)集對應(yīng)的第二特征點(diǎn)集，特征點(diǎn)為組織腔體的內(nèi)壁的像素點(diǎn)；基于第一特征點(diǎn)集和第二特征點(diǎn)集計(jì)算膠囊內(nèi)窺鏡的本質(zhì)矩陣；并且基于本質(zhì)矩陣進(jìn)行三維圖像重建。

技術(shù)領(lǐng)域

本公開涉及一種基于光流獲得組織腔體三維圖像的處理方法。

背景技術(shù)

目前，在對腔體進(jìn)行病理診斷的過程中，常常通過觀察腔體的內(nèi)部結(jié)構(gòu)來獲取病理信息。然而對于例如胃部等封閉腔體，人們難以在腔體外側(cè)進(jìn)行觀察，因此一般通過導(dǎo)入拍攝裝置收集信息，并通過特征點(diǎn)法進(jìn)行三維重建。

現(xiàn)有的特征點(diǎn)三維重建方法中，首先是分別提取兩幅圖像的特征點(diǎn)，然后對兩幅圖像的特征點(diǎn)進(jìn)行一一配對，通過配對好的特征點(diǎn)對可以計(jì)算出兩幅圖像之間的相對位姿，從而計(jì)算出攝影裝置的位置和姿態(tài)并根據(jù)攝影裝置的位置和姿態(tài)進(jìn)一步計(jì)算出腔體內(nèi)壁的三維圖像。

但是，現(xiàn)有的特征點(diǎn)三維重建方法，在紋理缺乏且相似度高的場景內(nèi)效果并不令人滿意。對于例如胃部等紋理少且紋理之間相似度高的腔體而言，所獲得的圖像容易受腔體內(nèi)的光照影響，無法獲取足夠的特征點(diǎn)和準(zhǔn)確的匹配關(guān)系。因此，使用傳統(tǒng)特征點(diǎn)法進(jìn)行的三維重建不適用于胃部等紋理少且紋理之間相似度高的腔體。

發(fā)明內(nèi)容

本公開是鑒于上述現(xiàn)有技術(shù)的狀況而提出的，其目的在于提供一種能夠?qū)y理少且紋理之間相似度高的組織腔體(例如胃腔)的圖像進(jìn)行三維重建且提高該圖像的特征點(diǎn)識別準(zhǔn)確性的基于光流獲得組織腔體三維圖像的處理方法。

為此，本公開提供了一種基于光流獲得組織腔體三維圖像的處理方法，利用膠囊內(nèi)窺鏡在具有褶皺內(nèi)壁的組織腔體內(nèi)沿著第一方向針對所述組織腔體內(nèi)的重建區(qū)域采集第一圖像，并使所述膠囊內(nèi)窺鏡在組織腔體內(nèi)沿著第二方向針對所述重建區(qū)域采集第二圖像，所述第一方向與所述第二方向形成有夾角；計(jì)算所述重建區(qū)域在所述第一圖像內(nèi)的第一像素區(qū)域與所述重建區(qū)域在第二圖像內(nèi)與所述第一像素區(qū)域?qū)?yīng)的第二像素區(qū)域的光流；在所述第一像素區(qū)域中提取包括多個特征點(diǎn)的第一特征點(diǎn)集，并基于所述第一特征點(diǎn)集和所述光流獲得在所述第二像素區(qū)域中與所述第一特征點(diǎn)集對應(yīng)的第二特征點(diǎn)集；基于所述第一特征點(diǎn)集和所述第二特征點(diǎn)集計(jì)算所述膠囊內(nèi)窺鏡的本質(zhì)矩陣；并且基于所述本質(zhì)矩陣計(jì)算所述第一像素區(qū)域和所述第二像素區(qū)域的各個像素點(diǎn)的空間坐標(biāo)，獲得點(diǎn)云并利用所述點(diǎn)云進(jìn)行三維圖像重建。

在這種情況下，能夠準(zhǔn)確地獲取第一圖像和第二圖像之間的光流，并且能夠根據(jù)光流在第一圖像和第二圖像中提取相對應(yīng)的特征點(diǎn)，從而能夠?qū)崿F(xiàn)在紋理少、紋理之間相似度高且受光照影響嚴(yán)重的組織腔體內(nèi)壁圖像中提取足夠的特征點(diǎn)以及準(zhǔn)確的匹配關(guān)系，由此能夠利用準(zhǔn)確匹配的特征點(diǎn)完成組織腔體內(nèi)壁的三維重建。

另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，所述第一圖像和所述第二圖像由所述膠囊內(nèi)窺鏡連續(xù)采集獲得，所述膠囊內(nèi)窺鏡為單目膠囊內(nèi)窺鏡，所述光流由所述膠囊內(nèi)窺鏡的運(yùn)動而產(chǎn)生。在這種情況下，能夠利用單目膠囊內(nèi)窺鏡的運(yùn)動獲得光流。

另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，所述第一圖像和所述第二圖像為相鄰幀的兩幅圖像，所述第一圖像為當(dāng)前幀的圖像，所述第二圖像為下一幀的圖像。在這種情況下，能夠減少胃腔蠕動對光流的影響。

另外，在本公開所涉及的基于光流獲得組織腔體三維圖像的處理方法中，可選地，所述多個特征點(diǎn)包括至少8個特征點(diǎn)。由此，能夠提高本質(zhì)矩陣的精確度。