[發(fā)明專利]一種基于視頻圖像增強現(xiàn)實的內(nèi)窺鏡手術(shù)導(dǎo)航方法及裝置

在審

• 申請?zhí)枺?/td>: 202211536498.4
• 申請日: 2022-12-01
• 公開（公告）號: CN115836914A
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計）人: 陳曉軍;傅航;李寅煒
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: A61B34/20
• 分類號: A61B34/20;A61B34/10;A61B90/00;A61B17/00;G06T19/00;G06T15/00
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 陳金星

1.一種基于視頻圖像增強現(xiàn)實的內(nèi)窺鏡手術(shù)導(dǎo)航方法，其特征在于，包括以下步驟：

S1、獲取患者的術(shù)前CT圖像，分割出手術(shù)關(guān)注的重點部位，生成對應(yīng)的三維模型，并在術(shù)前CT圖像中選取解剖標(biāo)志點；

S2、在患者手術(shù)部位和內(nèi)窺鏡上分別安裝無源跟蹤工具，設(shè)置導(dǎo)航系統(tǒng)，導(dǎo)航系統(tǒng)下的轉(zhuǎn)換矩陣關(guān)系鏈如下：

其中，I為單位矩陣，為內(nèi)窺鏡坐標(biāo)系相對內(nèi)窺鏡無源跟蹤工具坐標(biāo)系的轉(zhuǎn)換矩陣，為內(nèi)窺鏡無源跟蹤工具坐標(biāo)系相對于導(dǎo)航系統(tǒng)世界坐標(biāo)系的轉(zhuǎn)換矩陣，為導(dǎo)航系統(tǒng)世界坐標(biāo)系相對于患者手術(shù)部位無源跟蹤工具坐標(biāo)系的轉(zhuǎn)換矩陣，為患者手術(shù)部位無源跟蹤工具坐標(biāo)系相對于內(nèi)窺鏡坐標(biāo)系的轉(zhuǎn)換矩陣；

S3、在導(dǎo)航系統(tǒng)下，利用已在導(dǎo)航系統(tǒng)下標(biāo)定的探針，使用選取的解剖標(biāo)志點配準(zhǔn)真實患者與三維模型，得到配準(zhǔn)矩陣T_R；

S4、在導(dǎo)航系統(tǒng)下標(biāo)定內(nèi)窺鏡的參數(shù)，包括相機內(nèi)參、相機外參和畸變參數(shù)，所述相機外參為內(nèi)窺鏡坐標(biāo)系與內(nèi)窺鏡無源跟蹤工具坐標(biāo)系之間的轉(zhuǎn)換矩陣

S5、根據(jù)導(dǎo)航系統(tǒng)下的轉(zhuǎn)換矩陣關(guān)系鏈，確定患者手術(shù)部位無源跟蹤工具坐標(biāo)系相對于內(nèi)窺鏡坐標(biāo)系的轉(zhuǎn)換矩陣，使用針孔模型模擬成像將術(shù)前分割的手術(shù)關(guān)注的重點部位的三維模型投影渲染，對渲染結(jié)果使用內(nèi)窺鏡標(biāo)定的畸變參數(shù)進(jìn)行處理，得到虛擬圖像，將虛擬圖像與內(nèi)窺鏡實時采集的圖像進(jìn)行融合并顯示。

2.根據(jù)權(quán)利要求1所述的一種基于視頻圖像增強現(xiàn)實的內(nèi)窺鏡手術(shù)導(dǎo)航方法，其特征在于，使用選取的解剖標(biāo)志點配準(zhǔn)CT空間與患者空間時，配準(zhǔn)的目標(biāo)為：通過不斷迭代計算旋轉(zhuǎn)和平移矩陣，最小化計算兩個點云之間的距離，最終得到配準(zhǔn)矩陣T_R。

3.根據(jù)權(quán)利要求1所述的一種基于視頻圖像增強現(xiàn)實的內(nèi)窺鏡手術(shù)導(dǎo)航方法，其特征在于，相機外參的標(biāo)定具體為：

設(shè)置標(biāo)志板，確定所述標(biāo)志板與導(dǎo)航系統(tǒng)的相對位置；

在內(nèi)窺鏡的不同運動狀態(tài)下，導(dǎo)航系統(tǒng)跟蹤內(nèi)窺鏡無源跟蹤工具的運動，確定導(dǎo)航系統(tǒng)與內(nèi)窺鏡無源跟蹤工具之間的相對姿態(tài)；

在內(nèi)窺鏡運動時利用內(nèi)窺鏡獲取標(biāo)志板的圖像；

根據(jù)內(nèi)窺鏡獲取的標(biāo)志板圖像計算標(biāo)志板與內(nèi)窺鏡之間的相對姿態(tài)，根據(jù)標(biāo)志板與導(dǎo)航系統(tǒng)的相對位置計算導(dǎo)航系統(tǒng)與內(nèi)窺鏡之間的相對姿態(tài)，根據(jù)導(dǎo)航系統(tǒng)與內(nèi)窺鏡無源跟蹤工具之間的相對姿態(tài)和導(dǎo)航系統(tǒng)與內(nèi)窺鏡之間的相對姿態(tài)計算得到相機外參

4.根據(jù)權(quán)利要求1所述的一種基于視頻圖像增強現(xiàn)實的內(nèi)窺鏡手術(shù)導(dǎo)航方法，其特征在于，針孔成像模型如下式：

其中，Z表示比例系數(shù)，u、v表示像素在圖像坐標(biāo)系中的坐標(biāo)，d_x、d_y表征為感光元件在x，y方向的尺寸，u₀、v₀表征實際成像中心與理論中心的偏移量，f表示焦距，為內(nèi)窺鏡坐標(biāo)系相對內(nèi)窺鏡無源跟蹤工具坐標(biāo)系的轉(zhuǎn)換矩陣，為內(nèi)窺鏡無源跟蹤工具坐標(biāo)系相對于導(dǎo)航系統(tǒng)世界坐標(biāo)系的轉(zhuǎn)換矩陣，為導(dǎo)航系統(tǒng)世界坐標(biāo)系相對于患者手術(shù)部位無源跟蹤工具坐標(biāo)系的轉(zhuǎn)換矩陣，T_R表示配準(zhǔn)矩陣，X_w、Y_w、Z_w為空間點的三維坐標(biāo)。

5.根據(jù)權(quán)利要求1所述的一種基于視頻圖像增強現(xiàn)實的內(nèi)窺鏡手術(shù)導(dǎo)航方法，其特征在于，導(dǎo)航系統(tǒng)下內(nèi)窺鏡無源跟蹤工具的實時位置的確定過程如下：

導(dǎo)航系統(tǒng)實時獲取內(nèi)窺鏡無源跟蹤工具的位姿，內(nèi)窺鏡實時獲取手術(shù)圖像，基于手術(shù)圖像通過立體幾何的方式計算得到內(nèi)窺鏡的運動，將內(nèi)窺鏡的運動與內(nèi)窺鏡無源跟蹤工具的位姿的融合結(jié)果記為系統(tǒng)狀態(tài)的測量值；

獲取導(dǎo)航系統(tǒng)記錄的內(nèi)窺鏡無源跟蹤工具的運動過程，根據(jù)內(nèi)窺鏡無源跟蹤工具的運動過程計算內(nèi)窺鏡無源跟蹤工具的運動參數(shù)，包括速度與加速度；

使用上一時刻內(nèi)窺鏡無源跟蹤工具的位姿與運動參數(shù)，計算出此時內(nèi)窺鏡無源跟蹤工具的位置，該位置記為系統(tǒng)狀態(tài)的預(yù)測值；

根據(jù)內(nèi)窺鏡無源跟蹤工具的測量值與預(yù)測值，確定內(nèi)窺鏡無源跟蹤工具的實時位置。