[發(fā)明專利]一種腹腔鏡增強(qiáng)現(xiàn)實(shí)融合顯示方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210429586.8
• 申請(qǐng)日: 2022-04-22
• 公開（公告）號(hào): CN115105204A
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計(jì)）人: 楊欣榮;樊嘉;周儉;成劍文;孫云帆;許陽
• 申請(qǐng)（專利權(quán)）人: 復(fù)旦大學(xué)附屬中山醫(yī)院
• 主分類號(hào): A61B34/20
• 分類號(hào): A61B34/20;A61B34/10;A61B90/00;G06T19/00
• 代理公司: 上海容慧專利代理事務(wù)所(普通合伙) 31287
• 代理人: 于曉菁

1.一種腹腔鏡增強(qiáng)現(xiàn)實(shí)融合顯示方法，其特征在于，包括如下步驟：

步驟1：在人體表面增加5個(gè)標(biāo)記點(diǎn)并利用三維重建軟件以構(gòu)建分別與皮膚、肝臟、血管、病灶、骨骼所對(duì)應(yīng)的三維模型；

步驟2：將所構(gòu)建的與皮膚、肝臟、血管、病灶、骨骼所對(duì)應(yīng)的三維模型傳送給增強(qiáng)現(xiàn)實(shí)眼鏡中；

步驟3：醫(yī)生佩戴所述增強(qiáng)現(xiàn)實(shí)眼鏡后，將視野對(duì)準(zhǔn)手術(shù)床上的病人體表，保證病人整體位于眼鏡的視野中，并識(shí)別出病人體表上設(shè)置的5個(gè)標(biāo)記點(diǎn)；

步驟4：通過視野中的三維模型與病人體表的融合配準(zhǔn)并進(jìn)行增強(qiáng)現(xiàn)實(shí)顯示以使得所述醫(yī)生至少能夠透視地看到人體內(nèi)部的臟器、血管、及病灶。

2.根據(jù)權(quán)利要求1所述的腹腔鏡增強(qiáng)現(xiàn)實(shí)融合顯示方法，其特征在于，還包括：將所述增強(qiáng)現(xiàn)實(shí)眼鏡與顯示模塊連接，以將所述增強(qiáng)現(xiàn)實(shí)眼鏡中看到的圖像顯示于所述顯示模塊上。

3.根據(jù)權(quán)利要求2所述的腹腔鏡增強(qiáng)現(xiàn)實(shí)融合顯示方法，其特征在于，所述顯示模塊包括具有顯示屏的計(jì)算機(jī)。

4.根據(jù)權(quán)利要求1所述的腹腔鏡增強(qiáng)現(xiàn)實(shí)融合顯示方法，其特征在于，所述步驟1的實(shí)施是在手術(shù)前CT拍攝時(shí)執(zhí)行的。

5.根據(jù)權(quán)利要求1所述的腹腔鏡增強(qiáng)現(xiàn)實(shí)融合顯示方法，其特征在于，所述步驟2中，是利用目標(biāo)檢測(cè)算法，識(shí)別出所述增強(qiáng)現(xiàn)實(shí)眼鏡中三維模型上五個(gè)標(biāo)記點(diǎn)位置。

6.根據(jù)權(quán)利要求1所述的腹腔鏡增強(qiáng)現(xiàn)實(shí)融合顯示方法，其特征在于，所述增強(qiáng)現(xiàn)實(shí)眼鏡包括Hololens眼鏡。

7.根據(jù)權(quán)利要求1所述的腹腔鏡增強(qiáng)現(xiàn)實(shí)融合顯示方法，其特征在于，所述步驟3中，具體是利用所述增強(qiáng)現(xiàn)實(shí)眼鏡中分別獲取得到的三維模型上五個(gè)標(biāo)記點(diǎn)的坐標(biāo)以及病人體表上對(duì)應(yīng)的五個(gè)標(biāo)記點(diǎn)的坐標(biāo)，分別進(jìn)行去減去對(duì)應(yīng)中心坐標(biāo)，然后求取協(xié)方差矩陣，并進(jìn)行奇異值分解，利用左右特征值向量的乘積得到旋轉(zhuǎn)矩陣R，平移向量為t＝R*o’–o,其中o’表示三維模型上的五個(gè)標(biāo)記點(diǎn)的中心，o為病人體表上對(duì)應(yīng)標(biāo)記點(diǎn)的中心。

8.根據(jù)權(quán)利要求6所述的腹腔鏡增強(qiáng)現(xiàn)實(shí)融合顯示方法，其特征在于，還包括：將所述增強(qiáng)現(xiàn)實(shí)眼鏡與手術(shù)室中吊臂上的監(jiān)視器連接，以將所述增強(qiáng)現(xiàn)實(shí)眼鏡中看到的圖像顯示于所述監(jiān)視器上。