[發明專利]一種基于虛擬現實的聲光交互系統

有效

• 申請號: 201810972414.9
• 申請日: 2018-08-24
• 公開（公告）號: CN109240496B
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 趙薇;楊莉;金立標;靳聰;蔣玉暕;李若橋;涂中文
• 申請（專利權）人: 中國傳媒大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

本發明公開了一種基于虛擬現實的聲光交互系統，利用追蹤目標定位和動作捕捉技術，有效的將舞臺追光技術與虛擬現實聲學感知技術相融合，最終實現聲音和光影的交互，加強虛擬現實環境的沉浸感。通過頭部手勢控制場景中追光和聲音，通過聲音引導頭部手勢坐標變換，從而控制舞臺場景中的追光，實現聲光的交互。該系統由虛擬現實光學跟蹤系統、PC軟件端、虛擬現實全景聲系統及智能追光系統四部分組成。虛擬現實聲源位置設置方式將用戶位置、虛擬聲源坐標及揚聲器陣列位置建立精確映射，實現自動追光效果。用戶的空間定位除了采用光學跟蹤方式以外，還可以在精度要求不高的場景中采用kinect光學設備或語音交互等形式。

技術領域

本發明公開了一種基于虛擬現實的聲光交互系統，屬于虛擬現實交互技術領域。

背景技術

虛擬現實(VR)交互技術對提升VR沉浸感起到至關重要的作用。現有的交互技術研究及應用主要集中在視頻領域，而光影音效的交互卻鮮少研究，現階段虛擬現實環境下的聲光系統大多是分離的。交互技術是以定位技術為基礎的，常見的室內短距離定位技術有超寬帶(UWB)技術、藍牙技術、射頻識別技術(RFID)、wifi技術和ZigBee技術等等。在光影方面，捕捉運動物體一般采用專用追光燈。在虛擬現實音頻方面，將聲源進行分軌，通過對使用者的跟蹤，使其在每個空間點的聽覺都不相同，把聲場營造出立體感。

目前還沒有實現聲光交互的合適的技術方案。在虛擬現實領域，超寬帶(UWB)技術、藍牙技術、射頻識別技術(RFID)、wifi技術和ZigBee技術等在精確性、穩定性和抗干擾性方面都遠不及光學跟蹤技術，而虛擬現實技術對跟蹤定位的要求非常高，因此選用光學跟蹤最能滿足所需。為減少人力和提高追光藝術表現力，舞臺上常用大功率燈具替代專業追光燈實現追光或者跟蹤效果。現階段的虛擬現實音頻，一般用于根據劇情需要來渲染氣氛或者引起人的關注，并沒有對光影產生交互影響的效果。

發明內容

本發明的目的在于利用追蹤目標定位和動作捕捉技術，有效的將舞臺追光技術與虛擬現實聲學感知技術相融合，最終實現聲音和光影的交互，加強虛擬現實環境的沉浸感。

本發明采用的技術方案為一種基于虛擬現實的聲光交互系統，本系統旨在通過頭部手勢控制場景中追光和聲音，通過聲音引導頭部手勢坐標變換，從而控制舞臺場景中的追光，實現聲光的交互。該系統主要由虛擬現實光學跟蹤系統、PC軟件端、虛擬現實全景聲系統及智能追光系統四部分組成。

虛擬現實光學跟蹤系統中，目標人物的頭部或手部佩戴有標記點，舞臺場景上方設有的智能攝像機拾取運動坐標，智能攝像機拾取運動坐標采集的數據以60Hz的頻率刷新，經以太網輸送入PC工作站建立文件；

PC軟件端中，PC工作站內的PC軟件端對PC工作站建立的文件起到配置作用。在PC軟件端中輸入智能攝像機、燈具、揚聲器等測量參數，包括智能攝像機旋轉角度、燈具型號、揚聲器安裝位置坐標。

虛擬現實全景聲系統中，PC工作站利用光學跟蹤系統傳來的數據，提取目標人物的x軸、y軸和z軸信息，通過追光轉換矩陣計算出燈具Tilt和Pan等運動參數，傳輸至燈具控制臺輸出運動指令，最終驅動燈具在舞臺場景中追蹤目標人物的運動。同時，PC工作站將虛擬場景中的聲源位置，按距離進行衰減，映射到追蹤目標位置，實現聲光同時工作。

智能追光系統中，當聲音驟響，會引導用戶的身體轉向發聲位置，對用戶頭部手勢新位置的捕捉，進而實現新的追光位置，實現聲光互動，從而提升虛擬現實的沉浸感和交互性。

S1搭建虛擬現實光學跟蹤硬件系統

在規定空間內對物體或對象的位置或者姿態測量，稱為跟蹤。跟蹤的信息量即為自由度：如果僅僅測量x、y、z坐標，那么稱之為三自由度(3DOF or 3D)跟蹤。光學跟蹤即為紅外跟蹤。

光學跟蹤硬件系統的基本構成有：