[發明專利]一種基于虛擬現實的聲光交互系統

有效

• 申請號: 201810972414.9
• 申請日: 2018-08-24
• 公開（公告）號: CN109240496B
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 趙薇;楊莉;金立標;靳聰;蔣玉暕;李若橋;涂中文
• 申請（專利權）人: 中國傳媒大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種基于虛擬現實的聲光交互系統，其特征在于：本系統旨在通過頭部姿態或手部手勢控制場景中追光和聲音，通過聲音引導頭部姿態或手部手勢坐標變換，從而控制舞臺場景中的追光，實現聲光的交互；該系統主要由虛擬現實光學跟蹤系統、PC軟件端、虛擬現實全景聲系統及智能追光系統四部分組成；

虛擬現實光學跟蹤系統中，目標人物的頭部或手部佩戴有標記點，舞臺場景上方設有的智能攝像機拾取運動坐標，智能攝像機拾取運動坐標采集的數據以 60 Hz 的頻率刷新，經以太網輸送入PC工作站建立文件；

PC軟件端中，PC工作站內的PC軟件端對PC工作站建立的文件起到配置作用；在 PC 軟件端中輸入智能攝像機、燈具、揚聲器測量參數，包括智能攝像機旋轉角度、燈具型號、揚聲器安裝位置坐標；

虛擬現實全景聲系統中，PC工作站利用光學跟蹤系統傳來的數據，提取目標人物的x軸、y軸和z軸信息，通過追光轉換矩陣計算出燈具Tilt和Pan運動參數，傳輸至燈具控制臺輸出運動指令，最終驅動燈具在舞臺場景中追蹤目標人物的運動；同時，PC工作站將虛擬場景中的聲源位置，按距離進行衰減，映射到追蹤目標位置，實現聲光同時工作；

智能追光系統中，當聲音驟響，會引導用戶的身體轉向發聲位置，對用戶頭部姿態或手部手勢新位置的捕捉，進而實現新的追光位置，實現聲光互動，從而提升虛擬現實的沉浸感和交互性。

2.根據權利要求1所述的一種基于虛擬現實的聲光交互系統，其特征在于：搭建虛擬現實光學跟蹤硬件系統

光學跟蹤硬件系統的基本構成有：

（1）標記點；被追蹤目標按照某種規則放置標記點，標記點分為主動標記和被動標記；主動標記采用紅外LED，由于與智能攝像機鏡頭同步，因此區分多個主動標記點；被動標記是光反射元件，智能攝像機的鏡頭發出光信息，被動標記將光線反射回鏡頭，采用在標記位置放置反光球；要跟蹤測量被追蹤目標的身體姿態時，需要在確定的幾何形狀上布局大于等于三個反光球；

（2）多個動作捕捉的智能攝像機；智能攝像機的鏡頭從不同角度持續捕捉與其同步的標記點發出或反射的光線，數據實時傳輸回PC工作站。

3.根據權利要求1所述的一種基于虛擬現實的聲光交互系統，其特征在于：PC工作站用來處理各種數據之間的轉換，實現各部分的系統聯動；PC工作站的功能包括：

追蹤目標定位；智能攝像機的攝像頭獲得的數據被送入PC工作站，通過對比智能攝像機獲得圖像的邊緣坐標數據，得到當前標記點的二維坐標，即兩自由度，每個標記點需要至少兩個智能攝像機的攝像頭數據，才能還原3DOF；

燈具坐標轉換；

在當前得到的目標人物自由度數據中，選取位置坐標數據x軸、y軸和z軸信息，通過追光轉換矩陣計算出燈具Tilt和Pan運動參數，通過以太網傳輸給調光控制臺外圍設備；

虛擬現實場景建模及全景聲設計；

在虛擬現實場景中，將虛擬場景坐標與現實空間對應，按照現實空間的揚聲器陣列設置多個3D物體模型并添加音源，自動生成追蹤目標位置的虛擬現實全景聲。

4.根據權利要求1所述的一種基于虛擬現實的聲光交互系統，其特征在于：PC工作站通過聲卡傳輸多聲道音頻信號至虛擬現實全景聲播放系統；虛擬現實全景聲播放系統的實現有兩種方案：一種是在虛擬現實空間外圍布置多通道揚聲器陣列，各揚聲器發出的聲音在雙耳的強度差產生虛擬聲源效果；另一種是利用耳機。

5.根據權利要求1所述的一種基于虛擬現實的聲光交互系統，其特征在于：在獲得燈具Tilt和Pan運動參數后，便能夠作為輸入信號直接驅使燈具運動，實現自動追光效果；同時，也能夠通過 DMX 信號疊加器將智能追光系統的輸出信號與控制臺信號合并，在啟動自動跟蹤模式即打開智能追光系統時，燈具控制臺失去對燈具 x 軸和 y 軸的控制，轉由智能追光系統的跟蹤目標控制。

6.根據權利要求1所述的一種基于虛擬現實的聲光交互系統，其特征在于：利用下面兩個公式即可得到燈具的Pan和Tilt指令；

其中，（x0,y0,z0）為燈具的空間坐標，(x,y,z)為追蹤目標空間坐標。