[發明專利]基于增強現實的一體式手術導航方法、系統和存儲介質

在審

• 申請號: 202111116240.4
• 申請日: 2021-09-23
• 公開（公告）號: CN113893034A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 王旭東;李彪
• 申請（專利權）人: 上海交通大學醫學院附屬第九人民醫院
• 主分類號: A61B34/20
• 分類號: A61B34/20
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 楊用玲

本發明提供了基于增強現實的一體式手術導航方法、系統和存儲介質，其方法包括：根據患者的影像掃描數據，生成對應的虛擬3D器官模型影像；虛擬3D器官模型影像包括預設手術方案對應的指引圖形；通過終端設備的雙目紅外攝像頭拍攝獲取定位追蹤圖像；通過終端設備的可見光攝像頭拍攝獲取術區真實影像；根據定位追蹤圖像中的至少三個紅外反光球，計算得到目標器官與終端設備之間的相對位置矩陣；根據相對位置矩陣，將術區真實影像、虛擬3D器官模型影像及其指引圖形生成并顯示虛擬現實融合圖像。本發明實現手術導航輔助，避免了術者視野注意力的反復中斷和切換，可方便術者看著手術方案高效、便捷、準確進行手術。

技術領域

本發明涉及圖像處理技術領域，尤指基于增強現實的一體式手術導航方法、系統和存儲介質。

背景技術

隨著計算機技術的發展，計算機輔助手術模擬和輔助設計在外科治療中的重要作用已被廣泛認可。術前在計算機軟件中制定最佳的手術方案，術中依照術前設計準確進行手術，可以大大提高手術效果，同時減少手術風險。

外科導航技術是一種幫助手術醫生術中準確按照虛擬手術方案實施手術的方法，已被廣泛應用于神經外科、頜面外科、脊柱外科等領域。導航系統通過確定手術器械與患者實體的相對空間位置，對手術醫生進行術中指導。

但在臨床應用中，可以發現目前使用的傳統外科導航技術存在許多不足：

1、最常使用的導航探針是手術醫生與導航系統進行交互的唯一方式。術者基本只能通過探針對某一點進行定位與手術方案進行聯系。但這種點定位的方法，往往不能對手術醫生提供足夠有效的指導幫助，如對復雜形態物體的定位等，因此，傳統外科導航技術無法向手術醫生呈現完整的手術方案。

2、傳統外科導航技術一般通過顯示器進行信息輸出，但是手術醫生需要反復在術區視野和顯示器之間進行切換，以獲得導航輔助，這一方式嚴重影響了手術操作的連貫性和術者注意力的集中。

發明內容

本發明的目的是提供基于增強現實的一體式手術導航方法、系統和存儲介質，解決了無法準確定位，手術操作不連貫以及術者注意力無法集中的技術問題。

本發明提供的技術方案如下：

本發明提供一種基于增強現實的一體式手術導航方法，包括步驟：

根據患者的影像掃描數據，生成對應的虛擬3D器官模型影像；所述虛擬3D器官模型影像包括預設手術方案對應的指引圖形；

通過終端設備的雙目紅外攝像頭拍攝獲取定位追蹤圖像；所述定位追蹤圖像包括目標器官以及通過安裝支架設置在所述目標器官上的至少三個紅外反光球；所述至少三個紅外反光球不位于同一直線上；

通過所述終端設備的可見光攝像頭拍攝獲取術區真實影像；所述術區真實影像包括術區范圍內的環境和所述目標器官；所述可見光攝像頭和所述雙目紅外攝像頭設置在所述終端設備的同側；

根據所述定位追蹤圖像中的所述至少三個紅外反光球，計算得到所述目標器官與所述終端設備之間的相對位置矩陣；

根據所述相對位置矩陣，將所述術區真實影像、所述虛擬3D器官模型影像及其指引圖形生成并顯示虛擬現實融合圖像。

進一步的，通過終端設備的雙目紅外攝像頭拍攝獲取定位追蹤圖像之前包括步驟：

通過標定獲取所述雙目紅外攝像頭的相機內參。

進一步的，所述根據所述定位追蹤圖像中的所述至少三個紅外反光球，計算得到所述目標器官與所述終端設備之間的相對位置矩陣包括步驟：

對所述定位追蹤圖像進行灰度處理得到灰度圖像；

根據所述灰度圖像中各像素點的深度信息，查找出所述至少三個紅外反光球分別對應的目標區域；