[發明專利]基于增強現實的一體式手術導航方法、系統和存儲介質

在審

• 申請號: 202111116240.4
• 申請日: 2021-09-23
• 公開（公告）號: CN113893034A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 王旭東;李彪
• 申請（專利權）人: 上海交通大學醫學院附屬第九人民醫院
• 主分類號: A61B34/20
• 分類號: A61B34/20
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 楊用玲

1.一種基于增強現實的一體式手術導航方法，其特征在于，包括步驟：

根據患者的影像掃描數據，生成對應的虛擬3D器官模型影像；所述虛擬3D器官模型影像包括預設手術方案對應的指引圖形；

通過終端設備的雙目紅外攝像頭拍攝獲取定位追蹤圖像；所述定位追蹤圖像包括目標器官以及通過安裝支架設置在所述目標器官上的至少三個紅外反光球；所述至少三個紅外反光球不位于同一直線上；

通過所述終端設備的可見光攝像頭拍攝獲取術區真實影像；所述術區真實影像包括術區范圍內的環境和所述目標器官；所述可見光攝像頭和所述雙目紅外攝像頭設置在所述終端設備的同側；

根據所述定位追蹤圖像中的所述至少三個紅外反光球，計算得到所述目標器官與所述終端設備之間的相對位置矩陣；

根據所述相對位置矩陣，將所述術區真實影像、所述虛擬3D器官模型影像及其指引圖形生成并顯示虛擬現實融合圖像。

2.根據權利要求1所述的基于增強現實的一體式手術導航方法，其特征在于，通過終端設備的雙目紅外攝像頭拍攝獲取定位追蹤圖像之前包括步驟：

通過標定獲取所述雙目紅外攝像頭的相機內參。

3.根據權利要求2所述的基于增強現實的一體式手術導航方法，其特征在于，所述根據所述定位追蹤圖像中的所述至少三個紅外反光球，計算得到所述目標器官與所述終端設備之間的相對位置矩陣包括步驟：

對所述定位追蹤圖像進行灰度處理得到灰度圖像；

根據所述灰度圖像中各像素點的深度信息，查找出所述至少三個紅外反光球分別對應的目標區域；

根據所述目標區域對應的深度信息和所述相機內參，計算得到所述目標器官相對于所述雙目紅外攝像頭之間的相對位置矩陣。

4.根據權利要求1-3任一項所述的基于增強現實的一體式手術導航方法，其特征在于，所述根據所述相對位置矩陣，將所述術區真實影像、所述虛擬3D器官模型影像及其指引圖形生成并顯示虛擬現實融合圖像包括步驟：

根據預先在所述目標器官上選取的參考注冊點和所述定位追蹤圖像進行配準；

根據所述相對位置矩陣、所述術區實際圖像中目標器官的像素坐標，將所述虛擬3D器官模型影像、指引圖形疊加在所述術區真實影像，生成對應的虛擬現實融合圖像，并通過設置在所述終端設備上且位于所述可見光攝像頭對立側的顯示屏進行顯示。

5.一種基于增強現實的一體式手術導航系統，其特征在于，包括：

上位機，用于根據患者的影像掃描數據，生成對應的虛擬3D器官模型影像；所述虛擬3D器官模型影像包括預設手術方案對應的指引圖形；

雙目紅外攝像頭，安裝于終端設備處，用于拍攝獲取定位追蹤圖像；所述定位追蹤圖像包括目標器官以及通過安裝支架設置在所述目標器官上的至少三個紅外反光球；所述至少三個紅外反光球不位于同一直線上；

可見光攝像頭，安裝于終端設備處，用于拍攝獲取術區真實影像；所述術區真實影像包括術區范圍內的環境和所述目標器官；

所述終端設備，用于根據所述定位追蹤圖像中的所述至少三個紅外反光球，計算得到所述目標器官與所述終端設備之間的相對位置矩陣，根據所述相對位置矩陣，將所述術區真實影像、所述虛擬3D器官模型影像及其指引圖形生成并顯示虛擬現實融合圖像；

其中，所述可見光攝像頭和所述雙目紅外攝像頭設置在所述終端設備的同側。

6.根據權利要求5所述的基于增強現實的一體式手術導航系統，其特征在于，所述終端設備還包括：

標定模塊，用于通過標定獲取所述雙目紅外攝像頭的相機內參。

7.根據權利要求6所述的基于增強現實的一體式手術導航系統，其特征在于，所述終端設備還包括：

圖像處理模塊，用于對所述定位追蹤圖像進行灰度處理得到灰度圖像；

圖像識別模塊，用于根據所述灰度圖像中各像素點的深度信息，查找出所述至少三個紅外反光球分別對應的目標區域；

計算模塊，用于根據所述目標區域對應的深度信息和所述相機內參，計算得到所述目標器官相對于所述雙目紅外攝像頭之間的相對位置矩陣。