[發明專利]一種虛實融合實現方法、系統和電子設備

在審

• 申請號: 202011252695.4
• 申請日: 2020-11-11
• 公開（公告）號: CN112346572A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 孫微;周堅;方彤;卿叔平
• 申請（專利權）人: 南京夢宇三維技術有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00;G09B9/00
• 代理公司: 北京盛凡智榮知識產權代理有限公司 11616
• 代理人: 朱學繪

本發明公開了一種虛實融合實現方法，系統和電子設備。該虛實融合實現方法通過數字孿生技術，根據真實場景精準復制構建虛擬三維場景，并基于運動捕捉技術，實時定位和跟蹤捕捉現實場景中的人體/物體的位置和運動，將獲取的現實影像融入虛擬場景中，獲得虛實融合影像，呈現給用戶。用戶運用本發明提供的虛實融合實現方法，在獲得良好視角沉浸感的同時，可以同步體驗到真實的交互操作感。

技術領域

本發明涉及虛擬現實/增強現實領域，尤其涉及一種虛實融合實現方法、系統和電子設備。

背景技術

目前虛擬現實/增強現實作為一種先進的數字仿真和三維顯示技術已經廣泛地應用到教育培訓領域，尤其在醫學教育培訓行業。臨床醫師、醫護人員等在正式進入崗位后需要進行專業的技能實習與實訓。技能實習與實訓是從醫學生向醫生、醫護角色轉換的重要環節，其中實訓部分是臨床醫務人員個人進行自身臨床經驗的學習、提升的關鍵環節。

目前臨床醫務人員的實訓有兩種方式：一種方式是在醫院及醫院的培訓中心進行，通過模擬病人或者病體，例如在橡皮人或者福爾馬林浸泡的人體上進行，或者由受過專門訓練的人士作為模擬病人，與實訓的醫師進行問診對話，訓練其對于各類疾病、病灶的問診過程，并在實訓后對其錯誤進行糾正，幫助累積臨床經驗，提高水平；另一種方式是采用三維(3D)虛擬醫療培訓系統，通過在純虛擬場景中，按照培訓安排和要求，對虛擬數字病人或病體的操作，達到實訓的目的。

但是在純虛擬場景中進行操作，例如虛擬戰場上救治虛擬傷員(醫務人員的操作對象是虛擬的受傷戰士)，雖然可以獲得了虛擬場景的良好沉浸感，但是醫務人員無法獲得真實的操作感。而如果是在醫院或醫院培訓中心這樣的真實場景中，醫務人員的操作對象可能是橡皮人或者福爾馬林浸泡的人體，雖然能夠獲得真實的操作感，但是無法獲得虛擬場景的良好沉浸感，從而無法獲得好的實訓效果。如何在實現虛擬仿真中既實現良好沉浸感，又有具有真實的交互操作感，在教育培訓領域中有很強的需求，也是一個空白。

發明內容

本發明旨在提供一種虛實融合實現方法和系統，通過數字孿生三維建模技術，基于真實場景精準復制構建虛擬場景，并基于運動捕捉技術，實時定位和跟蹤捕捉真實場景中的人體/物體的位置和運動，獲取目標區域的真實操作的現實影像，再融入三維虛擬場景中。用戶運用該方法，在獲得三維虛擬場景下良好沉浸感的同時，可以體驗到真實的操作感。

本發明第一方面提供一種虛實融合實現方法，包括：

對真實場景中實物對象和顯示設備進行定位和跟蹤，實時獲得實物定位信息和設備定位信息；

基于實物定位信息確定虛擬場景中的目標區域，所述目標區域用于呈現虛實融合影像；

獲取真實場景中與所述目標區域對應的目標現實影像；

將目標現實影像和虛擬場景融合得到虛實融合影像，并通過所述顯示設備將所述虛實融合影像呈現給用戶。

可選地，所述方法還包括：將所述實物定位信息和所述設備定位信息輸出給虛實融合處理設備，以便所述虛實融合處理設備根據實物定位信息，在虛擬場景中呈現該實物對象所對應的虛擬對象。所述虛實融合處理設備還可以根據所述設備定位信息，獲得虛擬場景中的第一視角范圍(相當于用戶在虛擬場景中的眼睛)。設備定位信息包括了顯示設備的位置和角度，從而可以保證虛擬場景中的第一視角范圍與真實場景中用戶的視角范圍一致。

可選的，所述實現方法還包括：在確定目標區域之前，獲取所述虛擬場景。

所述獲取虛擬場景可以有如下實現方式：

第一種實現方式，對真實場景采用數字孿生技術，精準復制生成三維虛擬場景；

第二種實現方式，先對真實場景采用數字孿生技術，復制生成三維的原始虛擬場景，然后根據客戶需求，在生成的原始虛擬場景中增加若干虛擬畫面，得到滿足客戶需求的三維虛擬場景；