[發明專利]在擴展現實應用中將虛擬聲源映射到物理揚聲器

在審

• 申請號: 202010069777.9
• 申請日: 2020-01-21
• 公開（公告）號: CN111459444A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: S.克拉茨;A.鮑蘭格;J.維爾貝克;S.馬蒂
• 申請（專利權）人: 哈曼國際工業有限公司
• 主分類號: G06F3/16
• 分類號: G06F3/16;G06F3/01;H04R3/12;A63F13/54
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 陳麗來

一個或多個實施方案包括一種用于生成用于擴展現實(XR)環境的音頻場景的音頻處理系統。所述音頻處理系統確定與所述XR環境相關聯的第一虛擬聲源影響所述音頻場景中的聲音。所述音頻處理系統基于所述第一虛擬聲源對所述音頻場景的貢獻而生成與所述第一虛擬聲源相關聯的聲音分量。所述音頻處理系統將所述聲音分量映射到包括在多個擴音器中的第一擴音器。所述音頻處理系統輸出所述分量的至少第一部分以便在所述第一擴音器上回放。

技術領域

本公開的實施方案總體上涉及音頻信號處理，并且更具體地涉及在擴展現實應用中將虛擬聲源映射到物理揚聲器。

背景技術

擴展現實(XR)系統，諸如增強現實(AR)系統和虛擬現實(VR)系統，是用于體驗沉浸式計算機生成和預先錄制的視聽環境的越來越受歡迎的方法。在AR系統中，虛擬計算機生成的對象是相對于真實世界環境投影的。在一種類型的AR系統中，用戶佩戴特殊的透明裝置(諸如AR頭戴式套件)，用戶通過所述裝置查看真實世界中的物理對象以及呈遞到AR頭戴式套件的顯示表面上的計算機生成的虛擬對象。在其他類型的AR系統中，當用戶查看物理真實世界環境時，裝置將虛擬對象的圖像直接投影到用戶的眼睛上。在其他類型的AR系統中，用戶持有諸如智能電話或平板計算機等移動裝置。與移動裝置相關聯的相機捕獲物理真實世界環境的圖像。然后，與移動裝置相關聯的處理器呈遞一個或多個虛擬對象，并將呈遞的虛擬對象覆蓋到移動裝置的顯示屏上。對于這些類型的AR系統中的任何一種，虛擬對象顯示為物理真實世界環境中的對象。

類似地，在VR系統中，虛擬計算機生成的對象被投影到虛擬計算機生成的環境中。在典型的VR系統中，用戶佩戴特殊裝置(諸如VR頭戴式套件)，用戶通過所述裝置查看虛擬環境中的虛擬對象。

另外，XR系統通常包括一對耳機，用于將空間音頻直接傳遞到用戶的耳朵。XR系統中的空間音頻涉及虛擬聲源(在本文中也稱為“虛擬聲音偽像”)以及環境效果(諸如回聲或混響)的呈遞，具體取決于XR用戶正在查看的虛擬空間的特性。虛擬聲源和相關聯的環境效果的完整集合在本文中被稱為“音頻場景”或“聲音場景”。環境中的各種虛擬聲源可以是固定的或移動的。固定的虛擬聲源是從用戶的感覺來看保持在固定位置的聲源。相比之下，移動虛擬聲源是一種從用戶的感覺來看似乎從一個位置移動到另一個位置的聲源。

因為相對于用戶的耳朵來說，左耳機揚聲器和右耳機揚聲器的位置是已知的，所以XR系統能夠準確地生成包括所有固定和移動虛擬聲源的逼真的音頻場景。通常而言，XR系統會呈遞虛擬聲源，以便在用戶所聽到的虛擬聲源與用戶在XR頭戴式套件的顯示器上看到的對應VR對象之間具有最佳可能的相關性(例如，基于聽覺角度、感知距離和/或感知響度)。以這種方式，相對于在真實世界環境中如何看到和聽到對象，VR對象和對應的虛擬聲源被認為是逼真的。

上述方法的一個問題是在于，相對于經由放置在物理環境中的一個或多個擴音器體驗的相同音頻場景，經由耳機體驗的音頻場景通常不那么逼真。舉一個例子來說，擴音器通常產生的聲波的聲波壓力比經由耳機產生的聲波的聲波壓力大得多。因此，擴音器可以生成引起用戶的物理感覺的聲壓級(SPL)，而耳機通常不能生成這種SPL。此外，相對于耳機，擴音器通常能夠生成具有更大方向性和局部性的音頻信號。因此，相對于來自僅從耳機傳出的虛擬聲源和環境效果的音頻，來自從物理擴音器傳出的相同源和效果的音頻可能聽起來和感覺起來更逼真。通常而言，與經由耳機聽到的虛擬聲源和環境效果相比，經由擴音器聽到的相同虛擬聲源和環境效果似乎更逼真。此外，由擴音器產生的增加的聲波壓力可以提供通常無法從由耳機產生的聲音獲得的本能效果。因此，在擴音器系統的情況下，相對于由耳機產生的音頻場景，用戶也許能夠更加逼真地聽到并且還感覺到由擴音器系統產生的音頻場景。

然而，基于擴音器的系統的一個缺點在于，XR系統通常不能在擴音器系統中的兩個或更多個擴音器之間精確地定位和定向聲音。因此，當前的XR系統無法以與基于耳機的XR系統相同的方式在擴音器系統中準確實現虛擬聲源的動態定位。因此，當前的XR系統通常無法經由擴音器系統呈遞逼真的音頻場景。