[發明專利]一種腹腔鏡增強現實融合顯示方法

在審

• 申請號: 202210429586.8
• 申請日: 2022-04-22
• 公開（公告）號: CN115105204A
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 楊欣榮;樊嘉;周儉;成劍文;孫云帆;許陽
• 申請（專利權）人: 復旦大學附屬中山醫院
• 主分類號: A61B34/20
• 分類號: A61B34/20;A61B34/10;A61B90/00;G06T19/00
• 代理公司: 上海容慧專利代理事務所(普通合伙) 31287
• 代理人: 于曉菁

一種腹腔鏡增強現實融合顯示方法，涉及醫療應用領域，包括：步驟1：在人體表面增加5個標記點并利用三維重建軟件以構建分別與皮膚、肝臟、血管、病灶、骨骼所對應的三維模型；步驟2：將所構建的與皮膚、肝臟、血管、病灶、骨骼所對應的三維模型傳送給增強現實眼鏡中；步驟3：醫生佩戴增強現實眼鏡后，將視野對準手術床上的病人體表，保證病人整體位于眼鏡的視野中，并識別出病人體表上設置的5個標記點；步驟4：通過視野中的三維模型與病人體表的融合配準并進行增強現實顯示以使得醫生至少能夠透視地看到人體內部的臟器、血管、及病灶。

技術領域

本發明涉及醫療應用領域，具體而言，涉及一種腹腔鏡增強現實融合顯示方法。

背景技術

胸腹腔復雜腫瘤治療仍然是外科手術的難題，而腔鏡手術作為一種微創手術，具有創傷小、患者術后疼痛較輕、恢復快等優點，逐漸成為外科手術的主流。在手術前，利用三維重建軟件可以從二維CT、MR影像中分割出臟器、血管、病灶的區域，并進行三維重建，可以在三維直觀立體地展示血管、病灶之間的位置關系，輔助醫生進行術前手術規劃。因此三維手術規劃系統為外科醫生提供了精準的三維地圖，但是術中時，病人由于體位變化、氣腹等操作，導致實際人體與術前CT時的體位不同。術中的臟器由于病人體位變化，會發生形變，尤其是柔性臟器。因此在術中精準定位腫瘤位置及其與血管位置關系，提供精準的術中導航系統是外科醫生非常迫切的需求。

目前醫生只能通過大腦想象，將內窺鏡視野中的臟器、血管、病灶等于三維重建出的三維模型進行對應。增強現實技術在腹腔鏡手術中得到應用，通過在胸腔穿刺前用于定位穿刺位置，角度，通過體標標記點定位實現模型配準。但是轉入腔鏡視頻后，由于缺乏標記點，手術過程需要專業技術人員進行手動配準。

目前腔鏡手術存在較大的缺陷：

1)腔鏡視野局限，只能看到臟器的局部。

2)內窺鏡圖像中只能看到臟器表面，無法透過表面看到內部的各種血管、病灶；

3)缺乏力學反饋信息，無法像開腹手術一樣，用手觸摸感知臟器內部的腫瘤；

術前重建的三維模型與術中人體不在同一坐標系，因此需要將兩者進行配準，統一到同一坐標系下。目前大部分的配準仍是基于人體交互的剛性配準方法，自動配準技術尚未成熟，并且還沒有進行商用。

發明內容

本發明的目的在于提供一種腹腔鏡增強現實融合顯示方法，以至少解決以上問題之一。

本發明的實施例是這樣實現的：本發明實施例的一方面，提供一種腹腔鏡增強現實融合顯示方法，將術前重建的三維模型與實際病人體表配準，融合增強現實，進行腹腔鏡增強現實導航，該腹腔鏡增強現實融合顯示方法包括如下步驟：

步驟1：在人體表面增加5個標記點并利用三維重建軟件以構建分別與皮膚、肝臟、血管、病灶、骨骼所對應的三維模型；

步驟2：將所構建的與皮膚、肝臟、血管、病灶、骨骼所對應的三維模型傳送給增強現實眼鏡中；

步驟3：醫生佩戴所述增強現實眼鏡后，將視野對準手術床上的病人體表，保證病人整體位于眼鏡的視野中，并識別出病人體表上設置的5個標記點；

步驟4：通過視野中的三維模型與病人體表的融合配準并進行增強現實顯示以使得所述醫生至少能夠透視地看到人體內部的臟器、血管、及病灶。

可選地，還包括：將所述增強現實眼鏡與顯示模塊連接，以將所述增強現實眼鏡中看到的圖像顯示于所述顯示模塊上。

可選地，所述顯示模塊包括具有顯示屏的計算機。

可選地，所述步驟1的實施是在手術前CT拍攝時執行的。

可選地，所述步驟2中，是利用目標檢測算法，識別出所述增強現實眼鏡中三維模型上五個標記點位置。