[發明專利]一種基于VR技術的手術體驗系統

在審

• 申請號: 202111162209.4
• 申請日: 2021-09-30
• 公開（公告）號: CN113889277A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 謝彩霞;廖鳳琴;陳仲斌;賈平;包安竹;張佳;張蕾
• 申請（專利權）人: 四川省醫學科學院·四川省人民醫院
• 主分類號: G16H50/50
• 分類號: G16H50/50;G06F3/01;G06T17/00;G06T15/00
• 代理公司: 四川力久律師事務所 51221
• 代理人: 任曉揚

1.一種基于VR技術的手術體驗系統，包括VR設備，所述VR設備包括交互設備、顯示設備和計算機處理設備，所述交互設備用于獲取體驗者的反饋數據，所述顯示設備用于顯示VR場景，所述計算機處理設備用于處理數據，其特征在于，還包括三維重構模塊、手術關鍵流程交互模塊、視覺渲染模塊和觸覺渲染模塊，其中，

三維重構模塊，用于構建3D模型，形成VR場景；并將VR場景投射到顯示設備；

手術關鍵流程交互模塊，基于VR場景，通過VR設備形成多個虛擬場景，并通過VR場景和交互設備與體驗者進行交互；

視覺渲染模塊，用于實現虛擬場景中的實體對象模塊和坐標系統，并渲染出全局視角和局部視角，所述全局視角包括自由移動視角和頭部移動視角；

觸覺渲染模塊，用于模擬虛擬場景中的觸覺感知。

2.根據權利1要求所述的一種基于VR技術的手術體驗系統，其特征在于，所述三維重構模塊包括原畫單元、低模制作單元、低模雕刻單元、高模拓撲單元、低模展開單元、烘焙法線貼圖單元、貼圖繪制單元、調整單元和解碼單元；

所述原畫單元，通過拍照或原畫，收集制作3D模型所需的參考物件；

所述低模制作單元，采用3Dmax或Maya，基于參考物件，制作低模，生成初模；

所述低模雕刻單元，采用ZBrush 4R8對初模進行重布線，以增加細節，并雕刻形成高模；

所述高模拓撲單元，用于將雕刻形成的高模拓撲為低模；

所述低模展開單元，用于展開低模的UV，得到UV貼圖；

所述烘焙法線貼圖單元，將高模和低模導入UV貼圖，烘焙出法線貼圖；

所述貼圖繪制單元，用于漫反射法線貼圖，并對比法線貼圖，繪制混合貼圖；

所述調整單元，基于法線貼圖、顏色貼合和混合貼圖，形成低模，并對其進行效果調整，得到3D模型；

解碼單元，使用計算機處理設備將3D模型解碼，投射到顯示設備上。

3.根據權利1要求所述的一種基于VR技術的手術體驗系統，其特征在于，還包括視角切換單元，所述VR場景中設置有體驗者視角和第三人稱視角，所述場景切換單元用于在第一人稱視角和第三人稱視角之間切換。

4.根據權利要求3所述的一種基于VR技術的手術體驗系統，其特征在于，所述虛擬場景包括術前三方核查場景、配合麻醉場景、手術場景和麻醉復蘇場景；其中，

所述術前三方核查場景，構建有手術室場景，體驗者在第一人稱視角確認個人信息，確認個人信息時，播放醫生的語音提問，并接收體驗者的回答語音；

所述配合麻醉場景，體驗者處于第三人稱視角，觀察醫生建立靜脈通道和氣管插管的過程，并輸出語音信息和面板信息提醒體驗者配合麻醉；

所述手術場景，體驗者切換到第一人稱視角，顯示黑屏，并提示體驗者進入手術階段；

所述麻醉復蘇場景，體驗者在第一人稱視角，構建有復蘇室場景，體驗者進入復蘇體驗。

5.根據權利1要求所述的一種基于VR技術的手術體驗系統，其特征在于，所述觸覺渲染模塊包括力反饋設備、力反饋驅動單元、力反饋設備接口位置跟蹤單元和控制單元；

所述力反饋設備為VR頭盔手柄，用于與體驗者進行觸覺交互，獲取體驗者在VR場景中進行的操作；

所述力反饋驅動單元，用于獲取體驗者在VR頭盔手柄上進行的操作；

所述力反饋設備接口位置跟蹤單元，用于連接VR頭盔手柄與計算機處理設備并捕捉力反饋設備在VR場景中的位置；

所述控制單元，用于控制力反饋設備。

6.根據權利1要求所述的一種基于VR技術的手術體驗系統，其特征在于，所述顯示設備包括雙目顯示屏和外部顯示屏，

雙目顯示屏，用于為體驗者提供VR視角；

外部顯示屏，用于在VR設備外部同步顯示體驗者視角。

7.根據權利1要求所述的一種基于VR技術的手術體驗系統，其特征在于，所述視覺渲染模塊采用基于Qsplat的點云模型視覺渲染算法。