[發明專利]一種基于混合現實的虛擬手術訓練方法及系統

在審

• 申請號: 201811378127.1
• 申請日: 2018-11-19
• 公開（公告）號: CN109410680A
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 葉哲偉
• 申請（專利權）人: 葉哲偉
• 主分類號: G09B9/00
• 分類號: G09B9/00;G09B23/28
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 廉海濤

本發明涉及一種基于混合現實的虛擬手術訓練方法及系統，本發明根據真實人體的全身容積數據建立包括骨性結構以及軟組織的數字化三維模型，使得模型數據準確且能夠清晰反映人體的骨骼、肌肉、血管、神經等信息，結合混合現實頭顯即可實現動態教學、動態演示、實時溝通及多地會診等功能。將數字化三維模型的坐標轉換到以所述操作平臺為基準建立的世界坐標系內，并將其匹配至操作平臺平面，達到虛擬物體自然放置于平面上的效果，從而營造逼真的手術氛圍。根據手術器械與三維模型中各組織的相對位置關系向手部施加相應的力反饋，能夠讓操作人員真實感受操作力度，體會手術器械在接觸到不同組織器官時的手部觸覺反應，提高手術訓練真實度。

技術領域

本發明涉及生物醫學與信息技術交叉學科技術領域，具體涉及一種基于混合現實的虛擬手術訓練方法及系統。

背景技術

生物醫學工程(Biomedical Engineering，簡稱BME)是一門由理、工、醫相結合的邊緣學科，是多種工程學科向生物醫學滲透的產物。它是運用現代自然科學和工程技術的原理和方法，從工程學的角度，在多層次上研究人體的結構、功能及其相互關系，揭示其生命現象，為防病、治病提供新的技術手段的一門綜合性、高技術的學科。傳統的手術教學做法是采用模擬橡皮人進行教學，手術錄像的演示播放，器官實物標本講解，人體尸體解剖教學，動物活體解剖教學以及專家手術觀摩等形式，針對外科手術培訓、手術預演、臨床診斷、遠程手術、康復治療等醫學輔助教學環節。教學一般需要在專門的實驗室或手術間內進行。這種教學方法存在有許多不足，例如：

1、模型人進行教學，模型人一般采用樹脂或乳膠材料制得，易老化，使用過多次后就需要更換，模型人的價格比較高，經常更換教具大大增加了教學成本。

2、人體解剖結構教學，在實驗室里通過看錄像或尸體解剖教學，不能起到使學生非常直觀、輕松學習解剖結構的作用，并產生了大量的訓練費用，如教材費，尸體解剖費，實習費等。

3、專家手術觀摩形式，使醫務工作者不能完全沉浸于實際的場景內，通過視聽觸覺等多種感官了解和學習各種手術實際操作，對于年輕醫生而言，不能親自操作及與專家操作方法及時進行比對，發現自己的錯誤和不足，無疑使得培訓年輕醫務人員浪費大量費用和時間，不能獲得良好的受訓效果。

4、對于病灶可以讓醫生在手術之前學習新的手術方法和程序，練習所制定的手術計劃，并對治療結果進行評判。如果讓沒有經驗的醫學生或實習生進行手術操作，大大增加手術的風險，無法保障病人的生命安全，增加了醫院因手術失敗，隨之而來的支出成本和社會負面影響。

5、動物活體解剖教學，一方面動物活體十分昂貴，且涉及到動物保護等較敏感的問題，另一方面由于動物與人體的差異性，在進行手術訓練時，對提高手術熟練度的作用十分有限。

近年來，隨著計算機圖形學的迅速發展，VR在醫學方面的應用具有十分重要的現實意義。主要用于醫學培訓、醫學研究、醫學溝通和臨床治療，在虛擬環境中，可以建立虛擬的人體模型，借助于跟蹤球、頭戴式可視設備(HMD)、觸覺感知手套，學生可以很容易了解人體內部各器官結構，這比現有的采用教科書的方式要有效得多。

外科醫生在真正動手術之前，通過虛擬現實技術的幫助，能在顯示器上重復地模擬手術，移動人體內的器官，尋找最佳手術方案并提高熟練度。在遠距離遙控外科手術，復雜手術的計劃安排，手術過程的信息指導等方面，虛擬現實技術都能發揮十分重要的作用。

然而目前虛擬手術訓練類的系統或方法，其訓練用的目標對象大都通過相關軟件設計的，真實性不強，而且其訓練多是以教程的訓練形式進行訓練，理論性比較強，與實際的臨床手術還有很大差距。

發明內容

本發明針對現有技術中存在的技術問題，提供一種基于混合現實的虛擬手術訓練方法及系統，真實性強，具有高沉浸度，能夠為受訓人員建立更為真實的訓練場景，同時可以為非操作人員構建較為真實的現場觀察場景。

本發明解決上述技術問題的技術方案如下：