[發明專利]空間化音頻系統以及渲染空間化音頻的方法

有效

• 申請號: 202210357688.3
• 申請日: 2017-09-13
• 公開（公告）號: CN114885274B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: G·M·林克
• 申請（專利權）人: 奇躍公司
• 主分類號: H04S7/00
• 分類號: H04S7/00;G02B27/01;G02B27/00
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 賀月嬌;于靜

本發明涉及空間化音頻系統以及渲染空間化音頻的方法。一種空間化音頻系統，包括傳感器，其用于檢測收聽者的頭部姿勢。該系統還包括處理器，其用于在第一階段和第二階段渲染音頻數據。第一階段包括將與第一多個源對應的第一音頻數據渲染為與第二多個源對應的第二音頻數據。第二階段包括基于所檢測的收聽者的頭部姿勢，將與第二多個源對應的第二音頻數據渲染為與第三多個源對應的第三音頻數據。第二多個源由比第一多個源少的源組成。

本申請是申請日為2017年9月13日、PCT國際申請號為PCT/US2017/051421、中國國家階段申請號為201780056074.9、發明名稱為“空間化音頻系統以及渲染空間化音頻的方法”的申請的分案申請。

技術領域

本公開涉及具有空間化音頻系統的虛擬現實、增強現實和/或混合現實系統，以及用于使用該系統生成包括空間化音頻的虛擬現實、增強現實和/或混合現實體驗的方法。

背景技術

現代計算和顯示技術促進了用于所謂“混合現實(MR)”、“虛擬現實(VR)”和/或“增強現實(AR)”體驗的混合現實系統的發展。這可以通過頭戴式顯示器向用戶呈現計算機生成的圖像來完成。這種圖像產生了使用戶沉浸在模擬環境中的感官體驗。VR場景通常涉及數字或虛擬圖像信息的呈現而對實際的現實世界視覺輸入不透明。

AR系統通常用模擬元素補充現實世界環境。例如，AR系統可以通過頭戴式顯示器向用戶提供周圍現實世界環境的視圖。然而，計算機生成的圖像也可以呈現在該顯示器上，以增強現實世界環境。這種計算機生成的圖像可以包括與現實世界環境情境相關的元素。這些元素可以包括模擬的文本、圖像、對象等。MR系統還將模擬的對象引入到現實世界環境中，但這些對象通常具有比AR系統更大程度的交互性。模擬的元素經常可以實時交互。可以使用空間化音頻來呈現VR/AR/MR場景以改善用戶體驗。

各種光學系統在各種深度處生成圖像，用于顯示VR/AR/MR場景。2014年11月27日提交的美國實用新型專利申請序號14/738,877(代理人案卷號ML.20019.00)和美國實用新型專利申請序號14/555,585(代理人案卷號ML.20011.00)中描述了一些這樣的光學系統，其內容先前已通過引用并入本文。

當前空間化音頻系統可以與3D光學系統(諸如3D電影、3D視頻游戲、虛擬現實、增強現實和/或混合現實系統中的3D光學系統)協作，在光學上和聲學上渲染虛擬對象。對象是“虛擬的”是因為它們不是位于三維空間中的相應位置處的現實物理對象。相反，當被分別指向觀眾成員的眼睛和/或耳朵的光束和/或聲波刺激時，虛擬對象僅存在于觀眾和/或收聽者的大腦(例如，光學和/或聽覺中心)中。不幸的是，當前空間化音頻系統的收聽者位置和方向要求限制了其以現實方式為不在位置上的收聽者創建虛擬對象的音頻部分的能力。

當前空間化音頻系統(例如，用于家庭影院和視頻游戲的空間化音頻系統)使用“5.1”和“7.1”格式。5.1空間化音頻系統包括左前和右前聲道、左后和右后聲道、中央聲道和次低音。7.1空間化音頻系統包括5.1音頻系統的聲道以及與預期收聽者對齊的左和右聲道。每個上述聲道對應于單獨的揚聲器。電影音頻系統和電影級家庭影院系統包括杜比全景聲(DOLBY?ATMOS)，其增加了被配置為從預期收聽者上方傳送的聲道，從而使收聽者沉浸在聲場中并且用聲音環繞收聽者。

盡管空間化音頻系統有所改進，但是當前空間化音頻系統不能考慮收聽者的位置和方向，更不用說多個收聽者的相應位置和方向。因此，當前空間化音頻系統在全部收聽者都位于聲場的中心附近并且面向系統的中央聲道取向的假設下產生聲場，并且具有用于最佳性能的收聽者位置和方向要求。因此，在經典的一對多系統中，如果收聽者恰好面向期望方向的相反側，則可以將空間化音頻傳送給收聽者，使得聲音聽起來是向后的。這種未對準的聲音可導致感覺和認知的不協調，并且削弱空間化音頻體驗以及隨之呈現的任何VR/AR/MR體驗。在嚴重情況下，感覺和認知的不協調可以引起生理副作用，例如頭痛、惡心、不適等，從而可導致用戶避免空間化音頻體驗或隨之呈現的VR/AR/MR體驗。