[發明專利]應用虛擬現實的手術教學輔助系統及其方法

在審

• 申請號: 202011292855.8
• 申請日: 2020-11-18
• 公開（公告）號: CN114520040A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 劉偉民;陳菁徽;李宇倢;沈易達
• 申請（專利權）人: 臺北醫學大學
• 主分類號: G16H20/40
• 分類號: G16H20/40;G06T19/00;G06N20/00;G09B5/02
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 南霆;王寧

1.一種應用虛擬現實的手術教學輔助系統，其特征在于，所述手術教學輔助系統包含：

一手術影像數據庫，用以儲存多個二維手術影像，所述二維手術影像各自對應一術式名稱、一操作步驟、一使用器具時點及一參考訊息；

一建立模塊，連接所述手術影像數據庫，用以在進行手術訓練前，接收所述術式名稱以選擇加載相應的所述二維手術影像其中之一，并且根據加載的所述二維手術影像以三維重建方式建立一虛擬現實的手術環境；

一訓練模塊，連接所述建立模塊，用以在所述虛擬現實的手術環境建立完成后，允許進行手術訓練，并且在進行手術訓練時，持續偵測一手術操作行為，當所述手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的一時點訊息；以及

一支持模塊，連接所述訓練模塊，用以根據產生的所述時點訊息播放加載的所述二維手術影像，以及同步顯示所述操作步驟、所述使用器具時點及所述參考訊息以進行輔助支持及引導。

2.如權利要求1所述的應用虛擬現實的手術教學輔助系統，其特征在于，所述訓練模塊將偵測到的所述手術操作行為輸入預先訓練完成的一機器學習模型，用以通過所述機器學習模型辨識偵測到的所述手術操作行為是否異常中止或遲滯。

3.如權利要求2所述的應用虛擬現實的手術教學輔助系統，其特征在于，所述訓練完成的所述機器學習模型的產生方式是預先將無異常中止或遲滯的手術操作行為持續輸入未訓練完成的所述機器學習模型進行訓練所產生。

4.如權利要求1所述的應用虛擬現實的手術教學輔助系統，其特征在于，所述三維重建通過光測度、幾何及深度學習至少其中之一進行演算，用以將所述二維手術影像轉換為虛擬現實的三維訊息。

5.如權利要求1所述的應用虛擬現實的手術教學輔助系統，其特征在于，所述手術操作行為通過動作傳感器、腕部穿戴式裝置、手部動態輸入設備至少其中之一進行偵測。

6.一種應用虛擬現實的手術教學輔助方法，其特征在于，步驟包括：

提供多個二維手術影像，所述二維手術影像各自對應一術式名稱、一操作步驟、一使用器具時點及一參考訊息；

在進行手術訓練前，接收所述術式名稱以選擇加載相應的所述二維手術影像其中之一，并且根據加載的所述二維手術影像以三維重建方式建立一虛擬現實的手術環境；

在所述虛擬現實的手術環境建立完成后，允許進行手術訓練，并且在進行手術訓練時，持續偵測一手術操作行為，當所述手術操作行為異常中止或遲滯時，根據手術訓練的進度產生相應的一時點訊息；以及

根據產生的所述時點訊息播放加載的所述二維手術影像，以及同步顯示所述操作步驟、所述使用器具時點及所述參考訊息以進行輔助支持及引導。

7.如權利要求6所述的應用虛擬現實的手術教學輔助方法，其特征在于，所述方法更包含將偵測到的所述手術操作行為輸入預先訓練完成的一機器學習模型，用以通過所述機器學習模型辨識偵測到的所述手術操作行為是否異常中止或遲滯的步驟。

8.如權利要求7所述的應用虛擬現實的手術教學輔助方法，其特征在于，所述訓練完成的所述機器學習模型的產生方式是預先將無異常中止或遲滯的手術操作行為持續輸入未訓練完成的所述機器學習模型進行訓練所產生。

9.如權利要求6所述的應用虛擬現實的手術教學輔助方法，其特征在于，所述三維重建通過光測度、幾何及深度學習至少其中之一進行演算，用以將所述二維手術影像轉換為虛擬現實的三維訊息。

10.如權利要求6所述的應用虛擬現實的手術教學輔助方法，其特征在于，所述手術操作行為通過動作傳感器、腕部穿戴式裝置、手部動態輸入設備至少其中之一進行偵測。