[發(fā)明專利]遠程三維場景互動教學系統(tǒng)及控制方法

有效

• 申請?zhí)枺?/td>: 201710282843.9
• 申請日: 2017-04-26
• 公開（公告）號: CN107103801B
• 公開（公告）日: 2020-09-18
• 發(fā)明（設(shè)計）人: 梁小龍;高晗;霍巖;李若霜
• 申請（專利權(quán)）人: 北京大生在線科技有限公司
• 主分類號: G09B5/14
• 分類號: G09B5/14;G06F3/01
• 代理公司: 北京聯(lián)創(chuàng)佳為專利事務(wù)所(普通合伙) 11362
• 代理人: 劉雪嬌

1.一種遠程三維場景互動教學系統(tǒng)，其特征在于，包括遠程服務(wù)器與所述服務(wù)器連接的多個互動端，所述互動端包括顯示裝置、三維模型采集裝置和語音裝置；所述遠程服務(wù)器用于發(fā)送顯示場景模型到所述顯示裝置；所述三維模型采集裝置用于采集用戶動作信息和場景的深度信息，并發(fā)送所述用戶動作信息到所述遠程服務(wù)器；所述服務(wù)器還用于根據(jù)所述用戶動作信息，控制所述顯示裝置中顯示場景中虛擬角色的動作，顯示裝置根據(jù)場景中虛擬角色和三維場景實時渲染顯示畫面；所述語音裝置用于接收語音生成語音信號，并發(fā)送所述語音信號到所述遠程服務(wù)器，所述遠程服務(wù)器還根據(jù)所述語音信號和所述虛擬角色之間的位置關(guān)系，利用HRTF技術(shù)生成語音播放信號，并將所述語音播放信號發(fā)送給所述語音裝置，所述語音裝置還用于根據(jù)所述語音播放信號播放語音；其中，所述遠程服務(wù)器還具體用于根據(jù)所述語音信號和所述虛擬角色之間的位置關(guān)系，利用HRTF技術(shù)生成與左右耳對應(yīng)的兩路語音播放信號，所述左右耳對應(yīng)的兩路語音播放信號的強度值分別為：其中，所述T_R表示對應(yīng)右耳的語音播放信號的強度值，T_L表示對應(yīng)左耳的語音播放信號的強度值，T表示原本發(fā)音者的語音強度值，S表示聽音虛擬角色和發(fā)音虛擬角色之間的距離，S₁表示聽音虛擬角色的右耳到發(fā)音虛擬角色之間的距離，S₂表示聽音虛擬角色的左耳到發(fā)音虛擬角色之間的距離。

2.根據(jù)權(quán)利要求1所述的遠程三維場景互動教學系統(tǒng)，其特征在于，所述遠程服務(wù)器還具體用于獲取當前聽音的虛擬角色的位置、面朝方向和左右耳之間距離，獲取發(fā)音的虛擬角色的位置，通過聽音的虛擬角色的位置、面朝方向、左右耳之間距離和發(fā)音的虛擬角色的位置，利用HRTF技術(shù)計算出左右耳對應(yīng)的兩路語音播放信號。

3.根據(jù)權(quán)利要求1所述的遠程三維場景互動教學系統(tǒng)，其特征在于，所述三維模型采集裝置包括動作捕捉設(shè)備和深度相機，通過所述的三維模型采集裝置可以對用戶的位置和用戶的肢體動作，表情動作進行采集。

4.根據(jù)權(quán)利要求1所述的遠程三維場景互動教學系統(tǒng)，其特征在于，所述顯示裝置為頭戴式虛擬現(xiàn)實設(shè)備，投影屏幕，曲面屏幕，平面屏幕中的一種或多種。

5.一種遠程三維場景互動教學系統(tǒng)的控制方法，其特征在于，包括如下步驟：

S110，獲取現(xiàn)實場景中多個互動端采集的用戶肢體動作信息，臉部表情信息和語音信號；

S120，根據(jù)所述用戶肢體動作信息和臉部表情信息，控制三維顯示場景中虛擬角色的動作和臉部表情，最后由顯示裝置根據(jù)三維場景和三維虛擬角色生成更新顯示畫面；

S130，根據(jù)所述顯示場景中虛擬角色之間的位置關(guān)系和所述語音信號，利用HRTF技術(shù)生成語音播放信號，具體的，根據(jù)所述語音信號和所述虛擬角色之間的位置關(guān)系，利用HRTF技術(shù)生成與左右耳對應(yīng)的兩路語音播放信號，所述左右耳對應(yīng)的兩路語音播放信號的強度值分別為：其中，所述T_R表示對應(yīng)右耳的語音播放信號的強度值，T_L表示對應(yīng)左耳的語音播放信號的強度值，T表示原本發(fā)音者的語音強度值，S表示聽音虛擬角色和發(fā)音虛擬角色之間的距離，S₁表示聽音虛擬角色的右耳到發(fā)音虛擬角色之間的距離，S₂表示聽音虛擬角色的左耳到發(fā)音虛擬角色之間的距離；

S140，向多個互動端發(fā)送所述用戶的肢體動作信息和表情信息，以及所述語音播放信號，所述語音播放信號包括所述兩路語音播放信號。