[發(fā)明專(zhuān)利]具有離散對(duì)象的音頻的分層編碼

在審

• 申請(qǐng)?zhí)枺?/td>: 202010824443.8
• 申請(qǐng)日: 2020-08-17
• 公開(kāi)（公告）號(hào): CN112562696A
• 公開(kāi)（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: D·森;F·鮑姆加特;J·O·瑪麗瑪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘋(píng)果公司
• 主分類(lèi)號(hào): G10L19/008
• 分類(lèi)號(hào): G10L19/008;G10L19/02;G10L19/16;G10L19/26
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 黃倩

本公開(kāi)涉及具有離散對(duì)象的音頻的分層編碼。具有第一組高保真度立體聲響復(fù)制音頻分量的第一層數(shù)據(jù)能夠被解碼，其中該第一組高保真度立體聲響復(fù)制音頻分量是基于環(huán)境和一個(gè)或多個(gè)基于對(duì)象的音頻信號(hào)生成的。具有該一個(gè)或多個(gè)基于對(duì)象的音頻信號(hào)中的至少一個(gè)基于對(duì)象的音頻信號(hào)的第二層數(shù)據(jù)被解碼。從該第一組高保真度立體聲響復(fù)制音頻分量中減去該基于對(duì)象的音頻信號(hào)中的一個(gè)基于對(duì)象的音頻信號(hào)。渲染所得的高保真度立體聲響復(fù)制音頻分量以生成第一組音頻聲道。一個(gè)或多個(gè)基于對(duì)象的音頻信號(hào)被空間地渲染以生成第二組音頻聲道。其他方面也有所描述并受權(quán)利要求書(shū)保護(hù)。

技術(shù)領(lǐng)域

本公開(kāi)的一個(gè)方面涉及具有離散對(duì)象的音頻的分層編碼。

背景技術(shù)

音頻信號(hào)可具有不同的格式。傳統(tǒng)的基于聲道的音頻是針對(duì)收聽(tīng)設(shè)備例如具有五個(gè)揚(yáng)聲器和一個(gè)低音音箱的5.1家庭影院而記錄的。基于對(duì)象的音頻將音頻源編碼成具有元數(shù)據(jù)的對(duì)象，該元數(shù)據(jù)描述關(guān)于該對(duì)象的空間信息。

發(fā)明內(nèi)容

以音頻的分層編碼來(lái)?yè)Q取空間分辨率具有挑戰(zhàn)性。傳統(tǒng)音頻是基于聲道的，例如5.1或4.1。基于聲道的音頻不適于被分層，因?yàn)槿绻暤辣灰暈閷樱瑒t層的不存在會(huì)是明顯且分散注意力的，因?yàn)槿绻惶幚韺?duì)應(yīng)的層，則整個(gè)揚(yáng)聲器可能被關(guān)閉或靜音。類(lèi)似地，當(dāng)多個(gè)對(duì)象(例如，聲源)構(gòu)成聲場(chǎng)時(shí)，如果對(duì)象被視為層而沒(méi)有任何附加措施，則對(duì)象中一者或多者的不存在可能導(dǎo)致聲場(chǎng)的錯(cuò)誤表示。

高保真度立體聲響復(fù)制具有固有層級(jí)格式。每個(gè)增加階(例如，一階、二階、三階等)在回放給收聽(tīng)者時(shí)增加空間分辨率。高保真度立體聲響復(fù)制可以被格式化具有僅低階高保真度立體聲響復(fù)制，諸如具有一階 W、X、Y和Z。這種格式盡管具有相對(duì)低的帶寬占用，但提供低空間分辨率。對(duì)于高分辨率沉浸式空間音頻體驗(yàn)通常需要更高階高保真度立體聲響復(fù)制分量。

對(duì)象可被轉(zhuǎn)換成高保真度立體聲響復(fù)制，并且高保真度立體聲響復(fù)制的自然層級(jí)結(jié)構(gòu)然后隨著高保真度立體聲響復(fù)制信號(hào)的階增大可允許更大的空間分辨率和對(duì)象細(xì)節(jié)。不管包括多少分量，單獨(dú)這種方法缺少渲染不同聲源(對(duì)象)的靈活性，因?yàn)槟切┞曉丛诟弑Ｕ娑攘Ⅲw聲響復(fù)制音頻信號(hào)中被硬編碼。能夠分別訪問(wèn)對(duì)象就允許回放設(shè)備提供這些對(duì)象的高分辨率渲染以及能夠獨(dú)立地操縱每個(gè)對(duì)象，例如，對(duì)象實(shí)際上可在聲場(chǎng)周?chē)苿?dòng)，隨意地添加和移除，和/或使其級(jí)別獨(dú)立于音頻體驗(yàn)中的其他聲音來(lái)調(diào)節(jié)。

不同的回放設(shè)備也可能具有不同的回放能力。例如，回放設(shè)備可具有向用戶渲染近場(chǎng)音頻的能力。可能有利的是，此類(lèi)回放設(shè)備接收具有基于對(duì)象的信號(hào)的比特流以在近場(chǎng)中渲染。然而，第二回放設(shè)備可能無(wú)法渲染近場(chǎng)音頻。在這種情況下，如果基于對(duì)象的信號(hào)從一個(gè)設(shè)備傳輸?shù)搅硪辉O(shè)備，則該信號(hào)可能變得不使用，這可能導(dǎo)致帶寬浪費(fèi)。

缺少對(duì)高保真度立體聲響復(fù)制音頻分量和基于對(duì)象的音頻分層的混合音頻處理技術(shù)。此類(lèi)混合技術(shù)是有益的，因?yàn)閷?duì)象允許近場(chǎng)效應(yīng)、精確定位以及交互性。對(duì)象事實(shí)上可在認(rèn)為適當(dāng)?shù)那闆r下四處移動(dòng)，和/或使其級(jí)別改變，和/或在認(rèn)為適當(dāng)?shù)那闆r下從音頻場(chǎng)景添加或移除。高保真度立體聲響復(fù)制還可以提供有吸引力的空間環(huán)境再現(xiàn)。

在本公開(kāi)的一個(gè)方面，描述了一種混合音頻處理技術(shù)。該過(guò)程包括基于環(huán)境和一個(gè)或多個(gè)基于對(duì)象的音頻信號(hào)生成具有第一組高保真度立體聲響復(fù)制音頻分量(例如，僅一階，或僅一階和二階)的基礎(chǔ)層。在該第一組中，基于對(duì)象的音頻信號(hào)可被轉(zhuǎn)換成高保真度立體聲響復(fù)制分量，然后與也為高保真度立體聲響復(fù)制格式的環(huán)境組合。該基礎(chǔ)層可完全表示所期望的音頻場(chǎng)景，因?yàn)槠渚哂斜晦D(zhuǎn)換成高保真度立體聲響復(fù)制分量的在環(huán)境中捕獲的聲音以及來(lái)自各個(gè)聲源的聲音。第一組高保真度立體聲響復(fù)制音頻分量以及還未被轉(zhuǎn)換成高保真度立體聲響復(fù)制的任選數(shù)量的對(duì)象(和相關(guān)聯(lián)元數(shù)據(jù))可被包括在被編碼到比特流中的基礎(chǔ)(或第一)層中。