[發明專利]一種基于視頻圖像增強現實的內窺鏡手術導航方法及裝置

在審

• 申請號: 202211536498.4
• 申請日: 2022-12-01
• 公開（公告）號: CN115836914A
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 陳曉軍;傅航;李寅煒
• 申請（專利權）人: 上海交通大學
• 主分類號: A61B34/20
• 分類號: A61B34/20;A61B34/10;A61B90/00;A61B17/00;G06T19/00;G06T15/00
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 陳金星

本發明涉及一種基于視頻圖像增強現實的內窺鏡手術導航方法及裝置，方法包括：在術前CT圖像，分割出手術關注的重點部位并選取解剖標志點；在患者手術部位和內窺鏡上分別安裝無源跟蹤工具；利用已標定的探針，使用解剖標志點配準真實患者與三維模型；在導航系統下標定內窺鏡的參數；確定患者手術部位無源跟蹤工具坐標系相對于內窺鏡坐標系的轉換矩陣，使用針孔模型模擬成像將術前分割的手術關注的重點部位的三維模型投影渲染并使用畸變參數進行處理，得到虛擬圖像，將虛擬圖像與內窺鏡實時采集的圖像進行融合并顯示。與現有技術相比，本發明將虛擬圖像與內窺鏡真實圖像融合并呈現在同一屏幕，減少了醫生術中判斷時間，降低手眼協調難度。

技術領域

本發明涉及增強現實技術領域，尤其是涉及一種基于視頻圖像增強現實的內窺鏡手術導航方法及裝置。

背景技術

隨著計算機技術的發展及導航技術的不斷進步，計算機輔助手術導航技術在各類外科手術中越來越受到重視。在手術精準化的趨勢下，醫生需要依賴手術導航輔助完成精細操作。然而在一些手術場景下，手術目標區域常常受到遮擋。例如在腹腔鏡、鼻竇鏡等在內的各種內窺鏡視野下，醫生無法直接觀察病灶部位，或者病灶部位附近有重要的神經血管等，手術中需要避免傷害這些組織。為了獲得這些位置，需要同時結合導航軟件與內窺鏡圖像信息。

目前，內窺鏡手術中的手術導航方法主要還是將患者術前CT與真實患者配準，從而標記手術器械在CT空間中的位置。但大多數方案都無法將內窺鏡圖像與CT圖像信息融合，醫生需要綜合判斷兩種信息并進行操作，十分考驗醫生手眼協調性。同時，手術過程中需使用器械打開通向手術病灶的通道，破壞原有腔道結構，導致術前CT圖像與患者情況無法準確對應，需要醫生根據經驗做出判斷。

綜上所述，現有的內窺鏡手術導航方法存在精度差、信息融合不完全、考驗醫生手眼協調性、導航信息與術中實際圖像不匹配等缺陷。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于視頻圖像增強現實的內窺鏡手術導航方法及裝置，基于增強現實的方法融合術中內窺鏡信息與導航的CT信息，輔助醫生手術。

本發明的目的可以通過以下技術方案來實現：

一種基于視頻圖像增強現實的內窺鏡手術導航方法，包括以下步驟：

S1、獲取患者的術前CT圖像，分割出手術關注的重點部位，生成對應的三維模型，并在術前CT圖像中選取解剖標志點；

S2、在患者手術部位和內窺鏡上分別安裝無源跟蹤工具，設置導航系統，導航系統下的轉換矩陣關系鏈如下：

其中，I為單位矩陣，為內窺鏡坐標系相對內窺鏡無源跟蹤工具坐標系的轉換矩陣，/為內窺鏡無源跟蹤工具坐標系相對于導航系統世界坐標系的轉換矩陣，為導航系統世界坐標系相對于患者手術部位無源跟蹤工具坐標系的轉換矩陣，為患者手術部位無源跟蹤工具坐標系相對于內窺鏡坐標系的轉換矩陣；/

S3、在導航系統下，利用已在導航系統下標定的探針，使用選取的解剖標志點配準真實患者與三維模型，得到配準矩陣T_R；

S4、在導航系統下標定內窺鏡的參數，包括相機內參、相機外參和畸變參數，所述相機外參為內窺鏡坐標系與內窺鏡無源跟蹤工具坐標系之間的轉換矩陣

S5、根據導航系統下的轉換矩陣關系鏈，確定患者手術部位無源跟蹤工具坐標系相對于內窺鏡坐標系的轉換矩陣，使用針孔模型模擬成像將術前分割的手術關注的重點部位的三維模型投影渲染，對渲染結果使用內窺鏡標定的畸變參數進行處理，得到虛擬圖像，將虛擬圖像與內窺鏡實時采集的圖像進行融合并顯示。

進一步地，使用選取的解剖標志點配準CT空間與患者空間時，配準的目標為：通過不斷迭代計算旋轉和平移矩陣，最小化計算兩個點云之間的距離，最終得到配準矩陣T_R。