[發明專利]一種虛擬現實多人交互協作方法與系統

在審

• 申請號: 202110282513.6
• 申請日: 2021-03-16
• 公開（公告）號: CN112860072A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 梁俊娟;宋小靜;岳小冰;姜燕;張燕豪;張夢
• 申請（專利權）人: 河南工業職業技術學院
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 西安合創非凡知識產權代理事務所(普通合伙) 61248
• 代理人: 高志永

1.一種虛擬現實多人交互協作方法，其特征在于，基于紅外線光幕組實現用戶三維姿態數據的采集，基于面目表情識別模塊實現用戶面部表情的采集，基于姿態采集地墊實現用戶行走方向及行走方式的采集，并將采集到的用戶三維姿態數據、面部表情、用戶行走方向及行走方式實時映射到虛擬場景中綁定的角色上。

2.如權利要求1所述的一種虛擬現實多人交互協作方法，其特征在于，基于圖像采集模塊實現用戶面部圖像的采集，基于PyramidBox算法實現人臉圖像的挖掘，基于Bi-LSTM+Attention模型實現用戶面部表情的識別。

3.如權利要求1所述的一種虛擬現實多人交互協作方法，其特征在于，所述姿態采集地墊基于薄膜式壓力傳感器實現用戶行走方向及行走方式的采集，用戶通過踩壓姿態采集地墊上的對應不同的行走方向、行走方式的模塊實現行走方向、行走方式的錄入。

4.如權利要求1所述的一種虛擬現實多人交互協作方法，其特征在于，同時基于麥克風實現用戶音頻數據錄入數據的采集，并將采集到的用戶音頻數據在虛擬場景中以字幕攜帶語音播放的模式播放。

5.如權利要求1所述的一種虛擬現實多人交互協作方法，其特征在于，還包括基于帶三維姿態傳感器的指套實現用戶手部動作數據的捕捉，并將捕捉到的手部動作數據映射到虛擬場景中綁定的角色上的步驟。

6.一種虛擬現實多人交互協作系統，其特征在于，包括：

三維姿態采集模塊，用于基于紅外線光幕組實現用戶三維姿態數據的采集；

面部表情采集模塊，用于基于圖像采集模塊和面目表情識別模塊實現用戶面部表情的采集；

行走方向及方式采集模塊，用于基于姿態采集地墊實現用戶行走方向及行走方式的采集；

音頻數據采集模塊，用于基于麥克風實現用戶音頻數據錄入數據的采集；

映射模塊，用于將采集到的用戶三維姿態數據、面部表情、用戶行走方向及行走方式實時映射到虛擬場景中綁定的角色上，并將采集到的用戶音頻數據在虛擬場景中以字幕攜帶語音播放的模式播放。

7.如權利要求6所述的一種虛擬現實多人交互協作系統，其特征在于，還包括：

手部姿態采集模塊，用于基于帶三維姿態傳感器的指套實現用戶手部動作數據的捕捉，并將捕捉到的手部動作數據映射到虛擬場景中綁定的角色上。

8.如權利要求6所述的一種虛擬現實多人交互協作系統，其特征在于，所述面部表情采集模塊基于圖像采集模塊實現用戶面部圖像的采集，基于PyramidBox算法實現人臉圖像的挖掘，基于Bi-LSTM+Attention模型實現用戶面部表情的識別。