[發明專利]一種基于混合現實的虛擬手術訓練方法及系統

在審

• 申請號: 201811378127.1
• 申請日: 2018-11-19
• 公開（公告）號: CN109410680A
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 葉哲偉
• 申請（專利權）人: 葉哲偉
• 主分類號: G09B9/00
• 分類號: G09B9/00;G09B23/28
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 廉海濤

1.一種基于混合現實的虛擬手術訓練方法，其特征在于，包括：

收集完整的真實人體全身容積數據，并利用所述容積數據，構建包括骨性結構以及軟組織的數字化三維模型；

采集現實場景中的操作平臺特征數據，并以所述操作平臺為基準建立世界坐標系；將所述數字化三維模型的坐標轉換到世界坐標系內，并將所述數字化三維模型匹配至所述操作平臺平面；

實時獲取主視角位置坐標，并計算主視角相對于世界坐標系原點的旋轉矩陣和平移向量，并以此更新所述數字化三維模型在主視角頭戴式可視設備投影屏幕上的顯示角度；

實時追蹤手部動作，獲取手術器械位置變化數據，并根據手術器械與數字化三維模型中各組織的相對位置關系通過觸覺感知手套向手部施加相應的力反饋。

2.根據權利要求1所述一種基于混合現實的虛擬手術訓練方法，其特征在于，所述真實人體全身容積數據采集自核磁共振、CT及超聲檢查中的一種或多種。

3.根據權利要求2所述一種基于混合現實的虛擬手術訓練方法，其特征在于，所述的收集完整的真實人體全身容積數據，并利用所述容積數據，構建包括骨性結構以及軟組織的數字化三維模型，包括以下步驟：

在活體上設置標記物，利用核磁共振、CT及超聲檢查中的一種或多種手段采集包含有所述標記物的多組二維圖像序列；

根據所述多組二維圖像序列分別進行三維重建；

根據標記物的位置進行數據融合及配準，構建包括骨性結構以及軟組織的數字化三維模型。

4.根據權利要求1所述一種基于混合現實的虛擬手術訓練方法，其特征在于，將所述數字化三維模型匹配至所述操作平臺平面，包括：

旋轉所述數字化三維模型，使得數字化三維模型的人體中軸線與操作平臺中軸線平行；

獲取旋轉后數字化三維模型中y值最小的坐標點，并將其所在平面所述操作平臺平面進行配準，以實現將所述數字化三維模型匹配至所述操作平臺平面的操作。

5.根據權利要求1所述一種基于混合現實的虛擬手術訓練方法，其特征在于，在將所述數字化三維模型與所述操作平臺平面關聯后，還包括：

實時獲取至少一個從視角位置坐標；

根據所述從視角位置坐標，計算從視角相對于世界坐標系原點的旋轉矩陣和平移向量，并以此更新所述數字化三維模型在從視角頭戴式可視設備投影屏幕上的顯示角度。

6.一種基于混合現實的虛擬手術訓練系統，其特征在于，包括：

數據采集單元，用于收集完整的真實人體全身容積數據；

數據處理單元，用于利用所述容積數據進行三維重建，構建包括骨性結構以及軟組織的數字化三維模型；用于提取現實場景中的操作平臺特征數據，并以所述操作平臺為基準建立世界坐標系；用于將所述數字化三維模型的坐標轉換到世界坐標系內，并將所述數字化三維模型與所述操作平臺平面關聯；

具有攝像機的主視角頭戴式可視設備，與所述數據處理單元聯接，用于拍攝攝像機視野內的視頻畫面，并將所述視頻畫面發送至所述數據處理單元；用于實時顯示所述數據處理單元重建的數字化三維模型；

數據處理單元，用于根據所述主視角頭戴式可視設備拍攝的視頻畫面計算主視角位置，用于計算所述主視角位置相對于世界坐標系原點的旋轉矩陣和平移向量，用于根據所述旋轉矩陣和平移向量更新所述數字化三維模型在主視角頭戴式可視設備投影屏幕上的顯示角度；

觸覺感知手套，用于采集手部動作，獲取手術器械位置變化數據；

數據處理單元，用于根據采集手部動作、手術器械位置變化數據計算手術器械與三維模型中各組織的相對位置關系，并以此控制所述觸覺感知手套向手部施加相應的力反饋。

7.根據權利要求6所述一種基于混合現實的虛擬手術訓練系統，其特征在于，所述活體全身容積數據采集自核磁共振、CT及超聲檢查中的一種或多種。