[發明專利]應用虛擬現實的手術教學輔助系統及其方法

在審

• 申請號: 202011292855.8
• 申請日: 2020-11-18
• 公開（公告）號: CN114520040A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 劉偉民;陳菁徽;李宇倢;沈易達
• 申請（專利權）人: 臺北醫學大學
• 主分類號: G16H20/40
• 分類號: G16H20/40;G06T19/00;G06N20/00;G09B5/02
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 南霆;王寧

一種應用虛擬現實的手術教學輔助系統及其方法，通過在二維手術影像的基礎上以三維重建的方式建立虛擬現實的手術環境，并且預先設定相應的操作步驟、使用器具時點及參考訊息，當在虛擬現實中進行手術訓練時，持續偵測手術操作行為，并且在偵測到手術操作行為異常中止或遲滯時，根據手術訓練的進度觸發相應的輔助支持及引導，用以達到提高虛擬現實的手術學習成效的技術功效。

技術領域

本發明涉及一種手術教學輔助系統及其方法，特別是應用虛擬現實的手術教學輔助系統及其方法。

背景技術

近年來，隨著虛擬現實的普及與蓬勃發展，各種基于虛擬現實的應用便如雨后春筍般涌現，除了常見應用于游戲之外，虛擬現實也常應用于教學中，例如：手術、航空飛行等模擬教學及訓練。

一般而言，傳統的手術訓練或教學方式是以大體或動物來進行，但此方式除了成本高昂之外，還具有無法恢復的問題。因此，便有廠商將虛擬現實應用在手術教學，例如：模擬人體器官或單純以虛擬現實演示手術過程。不過，對于教學、訓練或培訓而言，目前模擬的人體器官仍然不夠真實。另一方面，虛擬現實提供的手術操作的自由度也同樣不足，所以應用在手術教學的成效仍然有其局限性。

有鑒于此，便有廠商提出提升擬真度和自由度的技術，用以增加沉浸式體驗。然而，高擬真度和自由度不見得能夠提高學習成效，舉例來說，當不知道下一步如何操作時，即便提供高擬真度和高自由度的操作環境，同樣仍然不知如何進行操作。因此，倘若能夠主動偵測是否需要提供幫助，并且適時介入輔助及引導，可以預期將會對提升手術學習成效有正面的幫助。

綜上所述，可知現有技術中長期以來一直存在虛擬現實的手術學習成效不彰的問題，因此實有必要提出改進的技術手段，來解決此問題。

發明內容

本發明公開一種應用虛擬現實的手術教學輔助系統及其方法。

首先，本發明公開一種應用虛擬現實的手術教學輔助系統，其包含：手術影像數據庫、建立模塊、訓練模塊及支持模塊。其中，手術影像數據庫儲存二維手術影像，所述二維手術影像各自對應有術式名稱、操作步驟、使用器具時點及參考訊息；建立模塊連接手術影像數據庫，用以在進行手術訓練前，接收術式名稱以選擇加載相應的二維手術影像其中之一，并且根據加載的二維手術影像以三維重建方式建立虛擬現實的手術環境；訓練模塊連接建立模塊，用以在虛擬現實的手術環境建立完成后，允許進行手術訓練，并且在進行手術訓練時，持續偵測手術操作行為，當手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的時點訊息；以及支持模塊連接訓練模塊，用以根據產生的時點訊息播放加載的二維手術影像，以及同步顯示操作步驟、使用器具時點及參考訊息以進行輔助支持及引導。

另外，本發明還公開一種應用虛擬現實的手術教學輔助方法，其步驟包括：提供多個二維手術影像，所述二維手術影像各自對應術式名稱、操作步驟、使用器具時點及參考訊息；在進行手術訓練前，接收術式名稱以選擇加載相應的所述二維手術影像其中之一，并且根據加載的二維手術影像以三維重建方式建立虛擬現實的手術環境；在虛擬現實的手術環境建立完成后，允許進行手術訓練，并且在進行手術訓練時，持續偵測手術操作行為，當手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的時點訊息；以及根據產生的時點訊息播放加載的二維手術影像，以及同步顯示操作步驟、使用器具時點及參考訊息以進行輔助支持及引導。

本發明所公開的系統與方法如上，與現有技術的差異在于本發明是通過在二維手術影像的基礎上以三維重建的方式建立虛擬現實的手術環境，并且預先設定相應的操作步驟、使用器具時點及參考訊息，當在虛擬現實中進行手術訓練時，持續偵測手術操作行為，并且在偵測到手術操作行為異常中止或遲滯時，根據手術訓練的進度觸發相應的輔助支持及引導。

通過上述的技術手段，本發明可以達成提高虛擬現實的手術學習成效的技術功效。

附圖說明

圖1為本發明應用虛擬現實的手術教學輔助系統的系統方塊圖。