[發(fā)明專利]一種雙目內(nèi)窺鏡軟組織圖像的聯(lián)合三維重建方法

有效

• 申請?zhí)枺?/td>: 201911294002.5
• 申請日: 2019-12-16
• 公開（公告）號: CN110992431B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 鄭文鋒;楊波;苗旺;劉珊;曾慶川
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/33;G06T17/00
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 溫利平

本發(fā)明公開了一種雙目內(nèi)窺鏡軟組織圖像的聯(lián)合三維重建方法，先通過雙目內(nèi)窺鏡獲取目標(biāo)的左右圖像對，利用立體視覺發(fā)進(jìn)行初步重建，然后以左圖為例，利用基于微表面理論構(gòu)造的雙向反射分布方程，模擬內(nèi)窺鏡環(huán)境下的成像過程，進(jìn)一步構(gòu)造左圖像的亮度圖像，最后利用SFS算法進(jìn)行精細(xì)重建，這樣就可以將重建問題轉(zhuǎn)化為最優(yōu)化問題，通過迭代優(yōu)化求解出最終的重建結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更為具體地講，涉及一種雙目內(nèi)窺鏡軟組織圖像的聯(lián)合三維重建方法。

背景技術(shù)

近年來微創(chuàng)手術(shù)(MIS)因為與傳統(tǒng)的開放手術(shù)相比具有許多的優(yōu)勢而受到重視，包括手術(shù)創(chuàng)口盡可能小、減小傷口感染風(fēng)險以及恢復(fù)時間更短，從而患者可以更快地恢復(fù)正常生活。這使得微創(chuàng)手術(shù)成為當(dāng)今臨床醫(yī)學(xué)中最主要的發(fā)展趨勢之一。在MIS中，醫(yī)生不再需要對患者做大尺寸的創(chuàng)口，僅需在合適的位置打若干個小孔，探入內(nèi)窺鏡及手術(shù)器械，即可完成手術(shù)。

MIS過程中，盡管可以通過使用內(nèi)窺鏡在手術(shù)中獲取手術(shù)目標(biāo)的實時影像，來輔助外科醫(yī)生的操作，但是所獲得的二維圖像畢竟丟失了目標(biāo)的深度信息，這相對于外科手術(shù)的高精度行要求而言依然會造成不小的影響。另外手術(shù)器材及內(nèi)窺鏡的運(yùn)動、患者呼吸運(yùn)動、心跳等運(yùn)動也會給成像造成困難。因此，對于如何從內(nèi)窺鏡圖像中重建滿足手術(shù)精確度、實時性要求的三維圖像是輔助外科醫(yī)生精確手術(shù)的關(guān)鍵的一步。

目前，計算機(jī)視覺領(lǐng)域的兩種主流算法為：立體視覺法(Multi-View?Stereo,MVS)和從陰影恢復(fù)形狀(Shape?From?Shading，SFS)。前者通過模仿人類的視覺系統(tǒng)，在多個視圖中找到對應(yīng)的特征，并通過三角測量確定深度，不足之處在于運(yùn)算量偏大、且在基線距離較大的情況下重建效果會明顯降低；另外后者僅根據(jù)將圖像亮度與局部表面法線相關(guān)聯(lián)的給定反射模型來估計深度，因此單輸入圖像通常就足夠了，該方法通常在一些使用第二臺相機(jī)不可行的場景下較為實用，比如行星表面的重建或者人體器官的重建。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種雙目內(nèi)窺鏡軟組織圖像的聯(lián)合三維重建方法，通過聯(lián)合使用立體視覺法和SFS算法，構(gòu)建目標(biāo)函數(shù)，將重建問題轉(zhuǎn)化為一個最優(yōu)化問題，通過優(yōu)化算法迭代計算得出最終的全局深度圖，進(jìn)而完成三維重建。

為實現(xiàn)上述發(fā)明目的，本發(fā)明一種雙目內(nèi)窺鏡軟組織圖像的聯(lián)合三維重建方法，其特征在于，包括以下步驟：

(1)、雙目內(nèi)窺鏡標(biāo)定；

對雙目內(nèi)窺鏡的兩個相機(jī)進(jìn)行各自標(biāo)定，以及兩相機(jī)之間進(jìn)行立體標(biāo)定，從而獲得兩個相機(jī)的內(nèi)部參數(shù)矩陣及兩相機(jī)之間的外部參數(shù)矩陣；

(2)、圖像采集及預(yù)處理；

利用雙目內(nèi)窺鏡對目標(biāo)軟組織進(jìn)行圖像采集，再利用外部參數(shù)矩陣對采集圖像進(jìn)行重投影，使左右兩幅采集圖像落在同一平面上，且左右兩幅采集圖像之間的像素行滿足極線約束；

將處理后的左右兩幅采集圖像用圖像對表示為{I_l,I_r}，并設(shè)目標(biāo)軟組織表面在I_l中的像素坐標(biāo)為(x,y)，對應(yīng)的待求深度為z(x,y)；

(3)、利用立體視覺算法計算初步深度信息z₀；

(3.1)、在圖像對{I_l,I_r}中，對于左圖像I_l中的每個像素點，通過在右圖像I_r對應(yīng)行上滑動絕對誤差和SAD窗口，從而獲得最佳匹配點，實現(xiàn)全局的特征匹配；

(3.2)、計算視差；

計算每個最佳匹配點的視差：d＝x_l-x_r，其中，x_l、x_r分別為左、右最佳匹配點的橫坐標(biāo)；