[發(fā)明專利]一種虛擬現(xiàn)實(shí)多人交互協(xié)作方法與系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110282513.6
• 申請日: 2021-03-16
• 公開（公告）號: CN112860072A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 梁俊娟;宋小靜;岳小冰;姜燕;張燕豪;張夢
• 申請（專利權(quán)）人: 河南工業(yè)職業(yè)技術(shù)學(xué)院
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 西安合創(chuàng)非凡知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61248
• 代理人: 高志永

本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，具體涉及一種虛擬現(xiàn)實(shí)多人交互協(xié)作方法與系統(tǒng)，該多人交互協(xié)作方法基于紅外線光幕組實(shí)現(xiàn)用戶三維姿態(tài)數(shù)據(jù)的采集，基于面目表情識別模塊實(shí)現(xiàn)用戶面部表情的采集，基于姿態(tài)采集地墊實(shí)現(xiàn)用戶行走方向及行走方式的采集，并將采集到的用戶三維姿態(tài)數(shù)據(jù)、面部表情、用戶行走方向及行走方式實(shí)時(shí)映射到虛擬場景中綁定的角色上。本發(fā)明可以實(shí)現(xiàn)用戶姿態(tài)、動作、面目表情、用戶行走方向及行走方式、手部動作的實(shí)時(shí)捕捉和快速識別、映射，在可以提高系統(tǒng)實(shí)時(shí)性的同時(shí)，可以提高系統(tǒng)的逼真度，提高用戶體驗(yàn)感。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，具體涉及一種虛擬現(xiàn)實(shí)多人交互協(xié)作方法與系統(tǒng)。

背景技術(shù)

隨著虛擬現(xiàn)實(shí)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，為了滿足地理上廣為分布的不同計(jì)算終端之間的交互需求，分布式虛擬現(xiàn)實(shí)(Distributed Virtual Reality，DVR)，又稱分布式虛擬環(huán)境(DVE，Distributed Virtual Environments)應(yīng)運(yùn)而生。

目前，虛擬現(xiàn)實(shí)的多人交互仍然存在以下問題：虛擬現(xiàn)實(shí)交互細(xì)節(jié)處理較為粗糙，數(shù)據(jù)處理效率性較差，影響實(shí)時(shí)性，進(jìn)而影響用戶體驗(yàn)。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種虛擬現(xiàn)實(shí)多人交互協(xié)作方法與系統(tǒng)，可以實(shí)現(xiàn)用戶姿態(tài)、動作、面目表情等的實(shí)時(shí)捕捉和快速識別、映射，從而提高系統(tǒng)的實(shí)時(shí)性，提高用戶體驗(yàn)感。

為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為：

一種虛擬現(xiàn)實(shí)多人交互協(xié)作方法，基于紅外線光幕組實(shí)現(xiàn)用戶三維姿態(tài)數(shù)據(jù)的采集，基于面目表情識別模塊實(shí)現(xiàn)用戶面部表情的采集，基于姿態(tài)采集地墊實(shí)現(xiàn)用戶行走方向及行走方式的采集，并將采集到的用戶三維姿態(tài)數(shù)據(jù)、面部表情、用戶行走方向及行走方式實(shí)時(shí)映射到虛擬場景中綁定的角色上。

進(jìn)一步地，基于圖像采集模塊實(shí)現(xiàn)用戶面部圖像的采集，基于PyramidBox算法實(shí)現(xiàn)人臉圖像的挖掘，基于Bi-LSTM+Attention模型實(shí)現(xiàn)用戶面部表情的識別。

進(jìn)一步地，所述姿態(tài)采集地墊基于薄膜式壓力傳感器實(shí)現(xiàn)用戶行走方向及行走方式的采集，用戶通過踩壓姿態(tài)采集地墊上的對應(yīng)不同的行走方向、行走方式的模塊實(shí)現(xiàn)行走方向、行走方式的錄入。

進(jìn)一步地，同時(shí)基于麥克風(fēng)實(shí)現(xiàn)用戶音頻數(shù)據(jù)錄入數(shù)據(jù)的采集，并將采集到的用戶音頻數(shù)據(jù)在虛擬場景中以字幕攜帶語音播放的模式播放。

進(jìn)一步地，還包括基于帶三維姿態(tài)傳感器的指套實(shí)現(xiàn)用戶手部動作數(shù)據(jù)的捕捉，并將捕捉到的手部動作數(shù)據(jù)映射到虛擬場景中綁定的角色上的步驟。

本發(fā)明還提供了一種虛擬現(xiàn)實(shí)多人交互協(xié)作系統(tǒng)，包括：

三維姿態(tài)采集模塊，用于基于紅外線光幕組實(shí)現(xiàn)用戶三維姿態(tài)數(shù)據(jù)的采集；

面部表情采集模塊，用于基于圖像采集模塊和面目表情識別模塊實(shí)現(xiàn)用戶面部表情的采集；

行走方向及方式采集模塊，用于基于姿態(tài)采集地墊實(shí)現(xiàn)用戶行走方向及行走方式的采集；

音頻數(shù)據(jù)采集模塊，用于基于麥克風(fēng)實(shí)現(xiàn)用戶音頻數(shù)據(jù)錄入數(shù)據(jù)的采集；

映射模塊，用于將采集到的用戶三維姿態(tài)數(shù)據(jù)、面部表情、用戶行走方向及行走方式實(shí)時(shí)映射到虛擬場景中綁定的角色上，并將采集到的用戶音頻數(shù)據(jù)在虛擬場景中以字幕攜帶語音播放的模式播放。

進(jìn)一步地，還包括：

手部姿態(tài)采集模塊，用于基于帶三維姿態(tài)傳感器的指套實(shí)現(xiàn)用戶手部動作數(shù)據(jù)的捕捉，并將捕捉到的手部動作數(shù)據(jù)映射到虛擬場景中綁定的角色上。

進(jìn)一步地，所述面部表情采集模塊基于圖像采集模塊實(shí)現(xiàn)用戶面部圖像的采集，基于PyramidBox算法實(shí)現(xiàn)人臉圖像的挖掘，基于Bi-LSTM+Attention模型實(shí)現(xiàn)用戶面部表情的識別。

本發(fā)明具有以下有益效果：