[發明專利]基于虛擬現實和增強現實的智能手術輔助系統

在審

• 申請號: 201710406188.3
• 申請日: 2017-06-01
• 公開（公告）號: CN107296650A
• 公開（公告）日: 2017-10-27
• 發明（設計）人: 李軍;王欣怡;王世楷;楊茂青;黃力宇
• 申請（專利權）人: 西安電子科技大學
• 主分類號: A61B34/10
• 分類號: A61B34/10
• 代理公司: 陜西電子工業專利中心61205
• 代理人: 王品華,朱紅星

技術領域

本發明屬于電子技術領域，更進一步涉及一種智能手術輔助系統，可用于醫學影像平臺和手術輔助系統中。

背景技術

臨床手術是現代醫療的重要診療手段，目前復雜外科手術的實施方案，主要依賴于核磁共振、計算機斷層掃描等三維醫學影像來制定。但臨床手術開刀之后，由于存在血液漫流和器官遮擋等生理因素，醫生的手術視野比較有限，手術中所見景象往往血肉模糊，加之術中病灶常常發生形態變化，脈管結構存在復雜畸變，往往難以直觀辨認。手術室配備的醫療影像設備使用復雜，往往需要配備專門的醫護人員來操作儀器，使用不便，醫生很難將術中所見血肉模糊的景象與術前影像學圖像關聯起來，造成了注意力的分散，這種信息不對稱的情形導致解剖結構辨識困難，影響術中決策。

近年來，為了解決復雜外科手術難以有效開展的問題，結合虛擬現實和增強現實技術的最新發展，主要通過術前術中信息，建立無畸變三維立體圖像，捕捉術中視野或手術動作，對術中每一階段的生理狀況進行逐一檢測和融合，反饋給醫生作為指導。

Method和Bay Innovation合作，在2015年其公布的設備VIVI醫學專用智能頭戴眼鏡中以下簡稱VIVI頭戴眼鏡，使用增強現實技術，在醫生做手術的過程中顯示病人當前的脈搏、血壓及體溫等身體數據和補充資料。該設備通過藍牙與手術室中其他監護設備連接，便攜式方案起到了很好的配合作用，避免了在升級現有手術室設備時，器材過多、功能冗雜的問題，醫生可以把注意力放回到病人身上，如果出現緊急情況，及時調整手術決策。目前VIVI頭戴眼鏡只能呈現血壓血氧等最簡單的參數，醫生仍需要從其他地方獲得更加深入的信息。

北京航空航天大學所申請的發明專利“一種用于增強現實手術導航的腹腔鏡視頻精準融合方法”中(公開號：CN106327587A，申請號：CN201611019614.X，申請日：2017.01.11)，首先對腹腔鏡相機進行標定，確定相機參數，并使用該參數進行3D圖形渲染引擎的投影矩陣設置；獲取手術對象術中的腹腔鏡圖像，用3D圖形渲染引擎生成對應的無畸變視圖，并用畸變模型使其變形為與實際腹腔鏡具有同樣畸變效果的虛擬視圖；通過融合虛擬視圖與實際腹腔鏡圖像，生成虛擬視圖的每一個像素點的深度值，最終獲得具有正確位置映射關系的精準虛擬-真實融合視頻用于手術導航。

深圳市科創數字顯示技術有限公司所申請的發明專利“AR和VR相結合的醫學培訓系統”(公開號：CN106251752A，申請號：CN201610940646.7，申請日：2016.10.25)，通過3D圖像采集模塊采集手術目標對象以及培訓人員使用的手術器械的三維圖像，通過動作捕捉模塊實時捕捉培訓人員的手術動作，通過中央處理器輸出糾正信息和指導信息，建立包含3D圖像采集模塊采集的三維圖像、指導信息以及糾正信息的增強現實或虛擬現實模型，培訓人員通過AR交互模塊實時獲取手術目標對象和其使用的手術器械的狀況、指導信息以及糾正信息，能夠提升醫療培訓的真實感與臨場感，縮短醫療培訓周期，降低醫療培訓成本。

上述現有的使用虛擬現實和增強現實的系統仍有以下部分缺陷：

第一，通過拍攝場景加以3D渲染變形，僅能還原器材或病灶的表面情況，不能深入畸變的生理結構內部，提供其任意角度和即時狀態的生理信息；

第二，使用者無法快速地進行人機交互，在術中導航難以做到實時有效，只能單一地從機器反饋的信息中矯正自己的動作，有一定的滯后性，無法命令機器達到醫生自己術中最需要的效果；

第三，僅捕捉了如相機、手術器材等簡單外設的信息，可提供的輔助功能較為單一，不能直接對患者本身病情作出快速指導，使術前規劃、術中操作、手術培訓的完整過程在一定程度上出現了斷層。

發明內容

本發明的目的在于針對上述現有技術的不足，提出一種基于虛擬現實和增強現實的智能手術輔助系統及方法，以對核磁共振、計算機斷層掃描這些傳統三維醫學影像進行直觀全面、具體精確地查看與標定，并以語音交互的方式，為手術中醫生作出實時指導。

本發明的技術方案是這樣實現的：

一、技術原理

本發明采用HTC Vive作為虛擬現實設備，采用Hololens作為增強現實設備，以Unity 5.3.5作為開發平臺，利用C#語言編程，研究開發術前虛擬影像工作室、術中投影顯示及交互調用模塊。