[發明專利]一種虛擬人實時互動系統及方法

在審

• 申請號: 202211443555.4
• 申請日: 2022-11-18
• 公開（公告）號: CN115494962A
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 陳偉堅;李佳皓;方可
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/04815;A63F13/822
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀鋒

本發明提供一種虛擬人實時互動系統及方法，包括：客戶端組件，包括若干子客戶端，所述子客戶端可以是虛擬人客戶端或玩家客戶端；云服務器組件，用于接收來自客戶端組件的數據，進行數據存儲和處理并向各個子客戶端分發；動作捕捉組件，與所述虛擬人客戶端連接，用于采集虛擬人表演者的表演信息；虛擬現實硬件設備，與所述子客戶端連接，用于被人類使用者使用以參與虛擬場景；通過本發明提供的虛擬人實時互動系統及其配套方法，能夠解決現有技術中虛擬人互動表現方式單一，缺乏真實感的技術問題，使得人類玩家能夠與虛擬人在虛擬場景中進行互動，通過實時反饋、動作捕捉、云服務器信息傳輸等方法實現實時沉浸的數字娛樂空間。

技術領域

本發明涉及虛擬現實和人機交互領域，尤其涉及一種虛擬人實時互動系統及方法。

背景技術

虛擬人是通過計算機技術驅動的虛擬人類形象，從驅動方式上分為AI驅動型和真人驅動型。目前，用于演藝娛樂的虛擬人主要是真人驅動型。真人驅動型虛擬人是通過捕捉錄制真人的動作、表情等驅動虛擬人進行展示的虛擬人呈現方式?，F有的實現方案主要包括動作捕捉技術和計算機渲染技術，然而，很少有技術方案從整體系統和新技術的集成角度考慮實現虛擬人與觀眾的實時游戲互動。因此，目前的演藝型虛擬人大多數不能與觀眾構成互動關系，其呈現方式大多是視頻、圖片等非互動形式，是一種固定的錄制的單方向呈現。

目前，大多數虛擬人只能按照固定的、預先設定的模式呈現表演等過程，無法與人類進行實時互動；少部分虛擬直播等場景中能夠進行實時互動的虛擬人互動形式較為有限，主要是語音、表情等形式?，F有技術的虛擬人互動缺乏真實感和實時性，其表現方式也較為單一，不能讓用戶具有沉浸式體驗。

發明內容

針對現有技術中虛擬人互動表現方式單一，缺乏真實感的技術問題，本發明提出了一種虛擬人實時互動系統及方法，使得人類玩家能夠與虛擬人在虛擬場景中進行互動，通過實時反饋、動作捕捉、云服務器信息傳輸等方法實現實時沉浸的數字娛樂空間。

為了實現上述目的，本發明采用如下技術方案：

本發明提供一種虛擬人實時互動系統，包括：

客戶端組件，包括若干子客戶端，所述子客戶端是虛擬人客戶端或玩家客戶端；

云服務器組件，用于接收來自客戶端組件的數據，進行數據存儲和處理并向各個子客戶端分發；

動作捕捉組件，與所述虛擬人客戶端連接，用于采集虛擬人表演者的表演信息；

虛擬現實硬件設備，與所述子客戶端連接，用于被人類使用者使用以參與虛擬場景；

其中，所述人類使用者包括虛擬人表演者和玩家。

進一步地，所述表演信息包括動作信息、表情信息和語音信息；

所述動作捕捉組件包括：

動作捕捉設備，用于采集虛擬人表演者的動作信息和表情信息；

語音處理設備，用于采集虛擬人表演者的語音信息。

進一步地，所述云服務器組件還包括數據庫組件，所述數據庫組件用于存儲和打包來自客戶端的數據，形成數據包后由所述云服務器組件進行分發。

進一步地，所述虛擬現實硬件設備能夠根據需要選定為能夠與用戶交互的設備或只進行顯示的設備。

進一步地，每個所述子客戶端中，包括用于生成虛擬場景的數字場景組件。

本發明還提供一種虛擬人實時互動方法，基于上述虛擬人實時互動系統，包括以下步驟：

A1：所述云服務器組件接收并處理來自各個所述子客戶端的信息，并將接收到的信息打包分發給各個所述子客戶端；

A2：所述子客戶端接收來自所述云服務器組件的信息，并通過所述虛擬現實硬件設備實時呈現給使用者；

A3：所述虛擬人表演者根據所述虛擬現實硬件設備呈現的玩家操作信息進行表演，由所述動作捕捉組件采集表演信息并發送給所述虛擬人客戶端；