[發明專利]遠程三維場景互動教學系統及控制方法

有效

• 申請號: 201710282843.9
• 申請日: 2017-04-26
• 公開（公告）號: CN107103801B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 梁小龍;高晗;霍巖;李若霜
• 申請（專利權）人: 北京大生在線科技有限公司
• 主分類號: G09B5/14
• 分類號: G09B5/14;G06F3/01
• 代理公司: 北京聯創佳為專利事務所(普通合伙) 11362
• 代理人: 劉雪嬌

1.一種遠程三維場景互動教學系統，其特征在于，包括遠程服務器與所述服務器連接的多個互動端，所述互動端包括顯示裝置、三維模型采集裝置和語音裝置；所述遠程服務器用于發送顯示場景模型到所述顯示裝置；所述三維模型采集裝置用于采集用戶動作信息和場景的深度信息，并發送所述用戶動作信息到所述遠程服務器；所述服務器還用于根據所述用戶動作信息，控制所述顯示裝置中顯示場景中虛擬角色的動作，顯示裝置根據場景中虛擬角色和三維場景實時渲染顯示畫面；所述語音裝置用于接收語音生成語音信號，并發送所述語音信號到所述遠程服務器，所述遠程服務器還根據所述語音信號和所述虛擬角色之間的位置關系，利用HRTF技術生成語音播放信號，并將所述語音播放信號發送給所述語音裝置，所述語音裝置還用于根據所述語音播放信號播放語音；其中，所述遠程服務器還具體用于根據所述語音信號和所述虛擬角色之間的位置關系，利用HRTF技術生成與左右耳對應的兩路語音播放信號，所述左右耳對應的兩路語音播放信號的強度值分別為：其中，所述T_R表示對應右耳的語音播放信號的強度值，T_L表示對應左耳的語音播放信號的強度值，T表示原本發音者的語音強度值，S表示聽音虛擬角色和發音虛擬角色之間的距離，S₁表示聽音虛擬角色的右耳到發音虛擬角色之間的距離，S₂表示聽音虛擬角色的左耳到發音虛擬角色之間的距離。

2.根據權利要求1所述的遠程三維場景互動教學系統，其特征在于，所述遠程服務器還具體用于獲取當前聽音的虛擬角色的位置、面朝方向和左右耳之間距離，獲取發音的虛擬角色的位置，通過聽音的虛擬角色的位置、面朝方向、左右耳之間距離和發音的虛擬角色的位置，利用HRTF技術計算出左右耳對應的兩路語音播放信號。

3.根據權利要求1所述的遠程三維場景互動教學系統，其特征在于，所述三維模型采集裝置包括動作捕捉設備和深度相機，通過所述的三維模型采集裝置可以對用戶的位置和用戶的肢體動作，表情動作進行采集。

4.根據權利要求1所述的遠程三維場景互動教學系統，其特征在于，所述顯示裝置為頭戴式虛擬現實設備，投影屏幕，曲面屏幕，平面屏幕中的一種或多種。

5.一種遠程三維場景互動教學系統的控制方法，其特征在于，包括如下步驟：

S110，獲取現實場景中多個互動端采集的用戶肢體動作信息，臉部表情信息和語音信號；

S120，根據所述用戶肢體動作信息和臉部表情信息，控制三維顯示場景中虛擬角色的動作和臉部表情，最后由顯示裝置根據三維場景和三維虛擬角色生成更新顯示畫面；

S130，根據所述顯示場景中虛擬角色之間的位置關系和所述語音信號，利用HRTF技術生成語音播放信號，具體的，根據所述語音信號和所述虛擬角色之間的位置關系，利用HRTF技術生成與左右耳對應的兩路語音播放信號，所述左右耳對應的兩路語音播放信號的強度值分別為：其中，所述T_R表示對應右耳的語音播放信號的強度值，T_L表示對應左耳的語音播放信號的強度值，T表示原本發音者的語音強度值，S表示聽音虛擬角色和發音虛擬角色之間的距離，S₁表示聽音虛擬角色的右耳到發音虛擬角色之間的距離，S₂表示聽音虛擬角色的左耳到發音虛擬角色之間的距離；

S140，向多個互動端發送所述用戶的肢體動作信息和表情信息，以及所述語音播放信號，所述語音播放信號包括所述兩路語音播放信號。