[發明專利]增強現實耳機環境渲染

有效

• 申請號: 201780018136.7
• 申請日: 2017-02-02
• 公開（公告）號: CN109076305B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: J-M·卓特;李瑾燮;E·斯特因
• 申請（專利權）人: DTS(英屬維爾京群島)有限公司
• 主分類號: H04S5/00
• 分類號: H04S5/00;H04S7/00;G10K15/08
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 宿小猛

聲學混響的準確建模可能是為參與者生成并提供現實的虛擬現實或增強現實體驗必需的。在例子中，可以提供用于使用耳機回放的混響信號。混響信號可以對應于起源于局部收聽者環境中的指定地點的虛擬聲源信號。除了其他方面之外，提供混響信號還可以包括使用關于來自參考環境的參考脈沖響應的信息并且使用關于參與者的局部環境中的混響衰退的特性信息。提供混響信號可以進一步包括使用關于參考環境的體積和參與者的局部環境的體積之間的關系的信息。

優先權聲明

本國際申請要求2016年2月2日提交的美國專利申請No.62/290,394和2016年9月16日提交的美國專利申請No.62/395,882的優先權權益，這些申請中的每篇整體通過引用并入本文。

背景技術

音頻信號再現已經發展到超越了簡單的立體聲或雙聲道配置或系統。例如，環繞聲系統(諸如5.1環繞聲)常用于家庭安裝和商業安裝中。這樣的系統利用位于相對于預期收聽者的各種地點的擴音器，并且被配置為為收聽者提供比從常規立體聲配置可獲得的體驗更沉浸式的體驗。

一些音頻信號再現系統被配置為遞送三維音頻或3D音頻。在3D音頻中，聲音是由立體聲揚聲器、環繞聲揚聲器、揚聲器陣列、或耳機或耳麥產生的，并且可以涉及或包括將聲源虛擬地放置在收聽者在聽覺上感知到的真實的或理論的三維空間中。例如，虛擬化聲音可以在聽到3D音頻處理后的聲音的收聽者的上面、下面或者甚至后面提供。

經由耳機的常規立體聲音頻再現趨向于提供被感知為起源于或來自于收聽者的頭部內部的聲音。在例子中，可以對由耳機遞送的(包括使用常規的擴音器驅動器立體聲對遞送的)音頻信號進行特殊處理以實現3D音頻效果，諸如為收聽者提供感知到的空間聲音環境。3D音頻耳機系統可以用于虛擬現實應用，諸如為收聽者提供沒有真實聲源存在的局部或虛擬環境中的特定位置處的聲源的感知。在例子中，3D音頻耳機系統可以用于增強現實應用，諸如為收聽者提供沒有真實聲源存在的位置處的聲源的感知，但是以收聽者保持至少部分地知道局部環境中的一個或多個真實聲音的方式。

發明內容

提供本發明內容是為了以簡化的形式介紹下面在具體實施方式中進一步描述的構思的選擇。本發明內容并非意圖認定要求保護的主題的關鍵特征或基本特征，也不意圖用于以任何方式限制要求保護的主題的范圍。

計算機生成的用于虛擬現實(VR)或增強現實(AR)的音頻渲染可以利用游戲和虛擬現實音頻渲染系統和應用編程接口中的信號處理技術發展，諸如建立在計算機音樂和建筑聲學領域中的以前的發展之上并且從這些發展延伸的信號處理技術發展。可以應用各種雙耳技術、人工混響、物理房間聲學建模和可聽化技術來為用戶提供增強的收聽體驗。在例子中，VR或AR音頻可以經由耳機或耳麥遞送到收聽者。VR或AR信號處理系統可以被配置為再現一些聲音以使得它們被收聽者感知為來自于局部環境中的外部源，而不是來自于耳機或收聽者的頭部內部的地點。

與VR 3D音頻相比，AR音頻涉及鼓勵參與者的懷疑的暫停(諸如通過提供基本上與局部收聽環境的聲學一致的模擬環境聲學和源-環境相互作用)的額外挑戰。也就是說，本申請的發明人已經認識到，要被解決的問題包括以這樣的方式對虛擬信號或添加的信號提供音頻信號處理：信號包括或表示用戶的環境，并且使得信號不易于與環境中自然出現的或通過擴音器再現的其他聲音區分開。例子可以包括被配置為模擬物理存在的聲源的“翻版”的虛擬聲源的渲染。該例子可以包括例如真實表演者和演奏相同樂器的虛擬表演者之間的二重奏、或真實人物和他/她的“虛擬雙胞胎”在給定環境中的對話。

在例子中，在虛擬聲場中提供準確的聲源的問題的解決方案可以包括對于給定的收聽環境、匹配并應用混響衰退時間、混響響度特性和/或混響均衡特性(例如，混響的頻譜內容)。本申請的發明人已經認識到，進一步的解決方案可以包括或使用測得的雙耳房間脈沖響應(BRIR)或從關于環境的物理或幾何數據計算的脈沖響應。在例子中，解決方案可以包括或使用測量環境中的混響時間，諸如多個頻帶中的混響時間，并且可以進一步包括或使用關于環境(或房間)體積的信息。