[發(fā)明專(zhuān)利]大尺度動(dòng)態(tài)環(huán)境下融合現(xiàn)實(shí)手術(shù)導(dǎo)航配準(zhǔn)系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110360376.3
• 申請(qǐng)日: 2021-04-02
• 公開(kāi)（公告）號(hào): CN113052883A
• 公開(kāi)（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 王立軍;周娜;李爭(zhēng)平
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北方工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06T7/33
• 分類(lèi)號(hào): G06T7/33;G06T7/277;G06T15/20;G06T19/00;G06K9/62
• 代理公司: 鹽城亭遠(yuǎn)專(zhuān)利代理事務(wù)所(普通合伙) 32486
• 代理人: 郭超

本發(fā)明提供了大尺度動(dòng)態(tài)環(huán)境下融合現(xiàn)實(shí)手術(shù)導(dǎo)航配準(zhǔn)系統(tǒng)及方法，通過(guò)HoloLens深度攝像頭獲取患者病灶及周?chē)糠贮c(diǎn)云，并進(jìn)行PCA點(diǎn)云預(yù)處理；根據(jù)病人病灶CT/MRI通過(guò)3Dmax制作與病灶等比圖像，根據(jù)基準(zhǔn)點(diǎn)分別在CT圖像坐標(biāo)系及世界坐標(biāo)系下的坐標(biāo)點(diǎn)集，求取2個(gè)坐標(biāo)系間的旋轉(zhuǎn)和平移變換矩陣，使得兩個(gè)坐標(biāo)系同源點(diǎn)間距離最小；基于霍爾曼濾波器進(jìn)行點(diǎn)云跟蹤；將Unity3D模型引入云中，進(jìn)行Azure遠(yuǎn)程渲染。本發(fā)明為非常規(guī)場(chǎng)景下的混合現(xiàn)實(shí)手術(shù)導(dǎo)航系統(tǒng)的實(shí)時(shí)虛實(shí)配準(zhǔn)問(wèn)題提供了解決方案，提升配準(zhǔn)實(shí)時(shí)性和精度大大高，減少采集時(shí)間、節(jié)約儲(chǔ)存空間以及之后點(diǎn)云預(yù)處理數(shù)量和時(shí)間。

技術(shù)領(lǐng)域

本發(fā)明屬于虛擬現(xiàn)實(shí)、人機(jī)交互、數(shù)據(jù)處理技術(shù)領(lǐng)域，涉及大尺度動(dòng)態(tài)環(huán)境下融合現(xiàn)實(shí)手術(shù)導(dǎo)航配準(zhǔn)系統(tǒng)及方法。

背景技術(shù)

混合現(xiàn)實(shí)(MR，Mixed Reality)指的是合并現(xiàn)實(shí)和虛擬世界而產(chǎn)生的新的可視化環(huán)境，在新的可視化環(huán)境里物理和數(shù)字對(duì)象共存，并實(shí)時(shí)互動(dòng)?；旌犀F(xiàn)實(shí)技術(shù)是一項(xiàng)前沿的創(chuàng)新技術(shù)，它在醫(yī)療領(lǐng)域的應(yīng)用也初具規(guī)模，目前也有相關(guān)的報(bào)道和文獻(xiàn)表明，很多科研工作者正在開(kāi)發(fā)相應(yīng)的產(chǎn)品和方法，將混合現(xiàn)實(shí)結(jié)合手術(shù)應(yīng)用中。隨著基于圖像引導(dǎo)的手術(shù)導(dǎo)航系統(tǒng)(Image-guided Surgery,IGS)的開(kāi)發(fā)問(wèn)世，其從根本上改變了傳統(tǒng)手術(shù)模式，實(shí)現(xiàn)了術(shù)前規(guī)劃方案至臨床手術(shù)操作的精準(zhǔn)轉(zhuǎn)移，極大地提高了手術(shù)的安全性、可靠性和高效性。該技術(shù)被譽(yù)為現(xiàn)代臨床醫(yī)學(xué)手術(shù)室的“衛(wèi)星定位GPS系統(tǒng)”，以CT、MRI等醫(yī)學(xué)影像資料和計(jì)算機(jī)輔助術(shù)前規(guī)劃信息為基礎(chǔ)，在手術(shù)過(guò)程中利用高精度定位跟蹤儀對(duì)手術(shù)器械和患者進(jìn)行跟蹤，并將兩者的相對(duì)位置關(guān)系實(shí)時(shí)顯示在計(jì)算機(jī)屏幕上，從而提供給臨床醫(yī)生更精確的量化信息指導(dǎo)，引導(dǎo)其按照術(shù)前規(guī)劃的方案順利實(shí)施手術(shù)。在醫(yī)學(xué)研究中引入增強(qiáng)現(xiàn)實(shí)技術(shù)，可以將獲得的人體三維組織信息準(zhǔn)確的疊加在醫(yī)生的視野環(huán)境中，為醫(yī)生提供更為直觀的用于診斷的顯示效果。利用增強(qiáng)現(xiàn)實(shí)技術(shù)，直接將CT、MRI等信息顯示在病人身上，并對(duì)需要施行手術(shù)的部位精確的定位，這在提高醫(yī)學(xué)診斷和手術(shù)精度方面均具有很重要的研究意義。

但基于混合現(xiàn)實(shí)的手術(shù)導(dǎo)航系統(tǒng)也存在各種問(wèn)題：

一、混合現(xiàn)實(shí)中會(huì)產(chǎn)生動(dòng)態(tài)環(huán)境下的實(shí)時(shí)配準(zhǔn)問(wèn)題，如：在飛機(jī)上進(jìn)行手術(shù)救援時(shí)，飛機(jī)不時(shí)會(huì)產(chǎn)生顛簸，從而可能造成患者位置或醫(yī)護(hù)人員位置發(fā)生改變。目前為止，絕大部分基于混合現(xiàn)實(shí)的手術(shù)導(dǎo)航系統(tǒng)的應(yīng)用是在實(shí)驗(yàn)室或醫(yī)院等場(chǎng)景中進(jìn)行的，而在這些場(chǎng)景中進(jìn)行手術(shù)時(shí)患者幾乎是保持不動(dòng)的，在設(shè)計(jì)配準(zhǔn)算法時(shí)不需要考慮目標(biāo)頻繁移動(dòng)問(wèn)題，故目前基于混合現(xiàn)實(shí)手術(shù)導(dǎo)航系統(tǒng)中所設(shè)計(jì)的虛實(shí)配準(zhǔn)算法不適用于動(dòng)態(tài)環(huán)境下的實(shí)時(shí)配準(zhǔn)。

二、在系統(tǒng)中加入復(fù)雜算法或處理數(shù)據(jù)量很大時(shí)，基于HoloLens的硬件配置無(wú)法滿(mǎn)足實(shí)際需求。(1)在基于混合現(xiàn)實(shí)的手術(shù)導(dǎo)航系統(tǒng)中，在手術(shù)器械建模和配準(zhǔn)工作完成后，就需要對(duì)手術(shù)器械和患者實(shí)體的運(yùn)動(dòng)進(jìn)行實(shí)時(shí)跟蹤，并將兩者的位置變化統(tǒng)一反映在計(jì)算機(jī)屏幕虛擬圖像中，引導(dǎo)醫(yī)生按照術(shù)前規(guī)劃的路徑施行手術(shù)，避免損傷重要的解剖結(jié)構(gòu)。在虛擬圖像中同步顯示手術(shù)器械和患者的絕對(duì)運(yùn)動(dòng)的表現(xiàn)形式(亦即基于世界坐標(biāo)系配準(zhǔn)的絕對(duì)跟蹤)較符合客觀實(shí)際、真實(shí)直觀，但該方法在導(dǎo)航過(guò)程中需要實(shí)時(shí)對(duì)患者STL格式三維模型(一般在幾十兆左右)進(jìn)行移動(dòng)、旋轉(zhuǎn)并顯示的計(jì)算，這就不可避免地存在內(nèi)存占用大，容易引起圖像顯示滯后，甚至導(dǎo)航系統(tǒng)死機(jī)與癱瘓的缺點(diǎn)。(2)在移動(dòng)設(shè)備查看3D內(nèi)容的傳統(tǒng)方法需要壓縮模型并去除多邊形。并且為了讓虛擬物體看起來(lái)與真實(shí)物體接近，穩(wěn)定地出現(xiàn)在某個(gè)位置并且擁有平滑的動(dòng)畫(huà)效果，渲染的刷新率是非常重要的。在HoloLens中，我們要求至少擁有60FPS以上的刷新率，在某些VR設(shè)備中，甚至要求90FPS以上的刷新率。過(guò)低的刷新率會(huì)導(dǎo)致抖動(dòng)的出現(xiàn)或者圖像重影，這會(huì)使得用戶(hù)出現(xiàn)頭暈癥狀。因此，努力讓虛擬物體以60FPS以上的刷新率進(jìn)行渲染，有助于提高體驗(yàn)時(shí)的舒適度。這會(huì)要求開(kāi)發(fā)者把模型簡(jiǎn)化到可以在低性能GPU硬件運(yùn)行的程度，但結(jié)果可能是丟失了關(guān)鍵業(yè)務(wù)和設(shè)計(jì)決策所需的重要細(xì)節(jié)。

發(fā)明內(nèi)容

為解決上述問(wèn)題，本發(fā)明提供了一種大尺度動(dòng)態(tài)環(huán)境下融合現(xiàn)實(shí)手術(shù)導(dǎo)航配準(zhǔn)系統(tǒng)及方法。

為了達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：