[發明專利]通過3D音頻定位來生成虛擬或增強現實呈現的方法和裝置

在審

• 申請號: 201780046320.2
• 申請日: 2017-05-25
• 公開（公告）號: CN109564760A
• 公開（公告）日: 2019-04-02
• 發明（設計）人: L·S·奧斯特洛維爾;B·T·科勒
• 申請（專利權）人: 華納兄弟娛樂公司
• 主分類號: G10L19/008
• 分類號: G10L19/008;H04R5/00;H04S7/00
• 代理公司: 北京匯知杰知識產權代理事務所(普通合伙) 11587
• 代理人: 李潔;董江虹

1.一種用于根據具有原始音頻部分和視覺部分的內容來生成3D呈現的裝置，所述內容包括多個場景，每個場景與具有音頻特性的相應環境相關聯，所述裝置包括：

音頻處理器，接收所述音頻部分和指示所述相應環境的環境參數，所述音頻處理器被配置為基于所述環境參數將所述原始音頻部分修改為經修改的音頻部分；

編著工具，接收所述經修改的音頻部分和所述原始視頻部分并且生成相應的編碼系數；以及

編碼器，接收所述原始視頻部分和所述經修改的音頻部分并且基于所述編碼系數生成編碼內容。

2.根據權利要求1所述的裝置，其中所述3D呈現在具有影院聲學參數的影院中被呈現，所述裝置還包括存儲所述影院聲學參數的聲學存儲器，并且所述音頻處理器被配置為接收所述影院聲學參數以生成所述經修改的音頻部分。

3.根據權利要求2所述的裝置，還包括適于感測所述影院聲學參數的聲學環境傳感器，所述聲學環境傳感器感測的信號被存儲在所述聲學存儲器中。

4.根據權利要求1所述的裝置，其中所述編碼器被配置為生成VR(虛擬現實)編碼內容以在VR設備上呈現，其中所述視頻部分定義至少第一虛擬場景，所述第一虛擬場景具有包含虛擬聲學環境特性的虛擬環境，并且其中所述音頻處理器被配置為接收所述虛擬聲學環境特性并且生成限定為所述虛擬場景配置的音軌的系數。

5.根據權利要求4所述的裝置，還包括被配置為分析在所述第一虛擬場景中定義的VR環境的環境分析器，所述環境分析器生成所述虛擬環境聲音以存儲在所述聲學存儲器中。

6.根據權利要求1所述的裝置，其中所述編碼器被配置為基于所接收的內容和從當前環境獲取的內容來生成AR(增強現實)編碼內容以用于在AR設備上呈現，其中所述視頻部分定義包括虛擬和真實元素的至少第一AR場景，并且所述音頻處理器被配置為接收所述第一AR場景的虛擬和真實音頻部分和聲學特性，所述音頻處理器生成描述被配置為匹配所述第一AR場景的聲學特性的音頻信號的系數。

7.根據權利要求6所述的裝置，其中所述音頻處理器生成描述包括與所述第一AR場景相關聯的環境信號的音頻信號的系數。

8.根據權利要求6所述的裝置，還包括檢測與觀看者的當前位置相關聯的真實環境的真實環境檢測器和被配置為確定所述真實環境的聲學參數的聲學環境檢測器。

9.根據權利要求8所述的裝置，其中所述真實環境檢測器包括GPS。

10.根據權利要求8所述的裝置，其中所述真實環境檢測器包括適于產生與所述當前位置相關聯的圖像的相機和分析所述圖像以確定所述聲學參數的分析器。

11.根據權利要求8所述的裝置，其中所述真實環境檢測器包括生成測試信號的聲音發生器和被布置為檢測源自所述聲音檢測器的回聲的傳聲器，所述聲學環境檢測器適于分析所述回聲。

12.一種用于生成編碼的3D呈現的方法，包括：

接收具有若干3D場景并且包括音頻和視覺軌跡的3D內容；

確定在其中呈現所述3D呈現的本地環境和一個所述3D場景的虛擬位置之一的聲學特性；

修改所述音軌以基于所述聲學特性生成經修改的軌跡；

使用至少部分依賴于所述音頻空間參數的編碼系數來編碼所述3D內容以生成編碼的3D呈現，所述編碼的3D呈現包括視覺部分和音頻部分，所述音頻部分是從所述經修改的音軌導出的。

13.根據權利要求12所述的方法，其中所述3D呈現在影院中被呈現，并且所述確定的步驟包括確定所述影院的聲學特性。