[發明專利]基于虛擬現實的眼眶手術訓練方法、系統和存儲介質

在審

• 申請號: 201910326427.3
• 申請日: 2019-04-23
• 公開（公告）號: CN109979600A
• 公開（公告）日: 2019-07-05
• 發明（設計）人: 范先群;宋雪霏;李寅煒;孫柔;周慧芳;賈仁兵
• 申請（專利權）人: 上海交通大學醫學院附屬第九人民醫院
• 主分類號: G16H50/50
• 分類號: G16H50/50;G16H40/63;G06F17/50;G06T19/00;G09B9/00
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 高彥

1.一種基于虛擬現實的眼眶手術訓練方法，其特征在于，應用于眼眶手術訓練系統，所述方法包括：

獲取眼眶掃描數據，據以構建并存儲一或多個三維組織器官模型；

依據所述三維組織器官模型構建虛擬現實環境并提供相應的虛擬顯示；

通過在所述虛擬現實環境中對所述三維組織器官模型進行手術操作所對應的實時的三維定位信息判斷與所述三維組織器官模型進是否發生碰撞，以令所述三維組織器官模型進行相應形變和/或產生相應力反饋感知。

2.根據權利要求1所述的基于虛擬現實的眼眶手術訓練方法，其特征在于，所述三維組織器官模型通過紋理貼圖技術重新進行紋理切割以合成新的紋理樣圖，并依據曲面與所述紋理樣圖的映射關系及紋理的生長方向進行動態紋理貼圖。

3.根據權利要求1所述的基于虛擬現實的眼眶手術訓練方法，其特征在于，所述三維組織器官模型上預設有對應手術路徑中每一步驟的位置標注，以作為供引導提示或進行評價/打分的參考。

4.根據權利要求1所述的基于虛擬現實的眼眶手術訓練方法，其特征在于，所述通過在所述虛擬現實環境中對所述三維組織器官模型進行手術操作所對應的實時的三維定位信息判斷與所述三維組織器官模型進是否發生碰撞是基于構建層次包圍盒方法的碰撞檢測進行判斷。

5.根據權利要求4所述的基于虛擬現實的眼眶手術訓練方法，其特征在于，當發生所述碰撞時，基于物理意義的模型在閉環仿真中令相應的力計算模型與變形計算模型相互關聯。所述變形計算模型包括：彈簧支點模型、體體元模型、有限元模型、及邊界元模型中任意一種。

6.根據權利要求5所述的基于虛擬現實的眼眶手術訓練方法，其特征在于，所述力計算模型為彈簧-阻尼器模型，在作用于物體表面時計算法向的受力，并結合重力補償和無漂移校準進行精確。

7.根據權利要求1所述的基于虛擬現實的眼眶手術訓練方法，其特征在于，所述依據操作路徑的實時的三維定位信息判斷與所述三維組織器官模型進是否發生碰撞，以令所述三維組織器官模型進行相應形變的方法包括：

當檢測到手術器械接觸到所述三維組織器官模型且滿足切割條件時，則判定發生切割；

采用分裂法分裂與所述手術器械碰撞到的所述三維組織器官模型的單元體，針對各所述單元體引入體積畸變因子修正各所述單元體的剛度矩陣，通過運算得到消除畸變的對應各所述單元體的整體剛度矩陣。

8.一種電子裝置，其特征在于，所述電子裝置包括：

獲取模塊，用于獲取眼眶掃描數據，據以構建并存儲一或多個三維組織器官模型；

處理模塊，用于依據所述三維組織器官模型構建虛擬現實環境并提供相應的虛擬顯示；通過在所述虛擬現實環境中對所述三維組織器官模型進行手術操作所對應的實時的三維定位信息判斷與所述三維組織器官模型進是否發生碰撞，以令所述三維組織器官模型進行相應形變和/或產生相應力反饋感知。

9.一種基于虛擬現實的眼眶手術訓練系統，其特征在于，所述系統包括：

三維模型庫，用于依據眼眶掃描數據構建并存儲一或多個三維組織器官模型；

VR穿戴單元，用于依據選擇的所述三維組織器官模型構建虛擬現實環境并提供相應的虛擬顯示；

包含力反饋單元與定位單元的操作單元，用于在所述虛擬現實環境中對所述三維組織器官模型進行操作；

交互處理單元，用于依據所述定位單元獲得的實時的三維定位信息判斷與所述三維組織器官模型進是否發生碰撞，以令所述三維組織器官模型進行相應形變和/或令所述力反饋單元產生相應力反饋感知。

10.根據權利要求9所述的基于虛擬現實的眼眶手術訓練系統，其特征在于，所述操作單元為力反饋操作桿或力反饋手套；所述VR穿戴單元為VR眼鏡或VR頭盔。