[發(fā)明專(zhuān)利]用于空間音頻的文件格式

有效

• 申請(qǐng)?zhí)枺?/td>: 201880057198.3
• 申請(qǐng)日: 2018-09-25
• 公開(kāi)（公告）號(hào): CN111108760B
• 公開(kāi)（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: M·S·康諾利;C·T·尤班克;S·E·平托;T·霍爾曼
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘋(píng)果公司
• 主分類(lèi)號(hào): H04S7/00
• 分類(lèi)號(hào): H04S7/00;G06T19/00;G10L19/008;G10L19/16
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 丁君軍

包含根據(jù)用于空間音頻的文件格式進(jìn)行格式化的音頻資源的音頻資源庫(kù)包括使得模擬現(xiàn)實(shí)(SR)應(yīng)用程序開(kāi)發(fā)者能夠創(chuàng)作在SR應(yīng)用程序中使用的聲音的資源元數(shù)據(jù)。音頻資源被格式化為包括音頻數(shù)據(jù)和資源元數(shù)據(jù)，其中音頻數(shù)據(jù)對(duì)能夠被創(chuàng)作到SR應(yīng)用程序中的聲音進(jìn)行了編碼，資源元數(shù)據(jù)不僅描述聲音是如何被編碼的，而且還描述SR環(huán)境中的收聽(tīng)者對(duì)聲音有怎樣的體驗(yàn)。SR開(kāi)發(fā)者平臺(tái)被配置為使得開(kāi)發(fā)者能夠使用存儲(chǔ)在音頻庫(kù)中的音頻資源為SR對(duì)象創(chuàng)作聲音，包括編輯資源元數(shù)據(jù)以包括變換參數(shù)，該變換參數(shù)支持資源元數(shù)據(jù)在SR環(huán)境中的動(dòng)態(tài)變換，從而改變SR收聽(tīng)者對(duì)所創(chuàng)作聲音的體驗(yàn)。還描述了其他實(shí)施方案并要求對(duì)其進(jìn)行保護(hù)。

本非臨時(shí)專(zhuān)利申請(qǐng)要求2017年9月29日提交的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)62/566,094的較早提交日期的權(quán)益。

技術(shù)領(lǐng)域

技術(shù)領(lǐng)域整體涉及用于音頻處理的計(jì)算機(jī)化數(shù)據(jù)處理系統(tǒng)和方法，并且具體地，涉及模擬現(xiàn)實(shí)環(huán)境中的空間音頻處理。

背景技術(shù)

在增強(qiáng)現(xiàn)實(shí)(AR)、虛擬現(xiàn)實(shí)(VR)和混合現(xiàn)實(shí)(MR)應(yīng)用(在本公開(kāi)中它們?nèi)坑赡M現(xiàn)實(shí)(SR)一詞涵蓋)中產(chǎn)生三維(3D)聲音效果是具有挑戰(zhàn)性的，因?yàn)楝F(xiàn)有音頻格式最初被設(shè)計(jì)用于在具有固定揚(yáng)聲器位置和靜態(tài)收聽(tīng)者的物理環(huán)境中(諸如在電影院中)產(chǎn)生3D聲音。被設(shè)計(jì)為產(chǎn)生3D聲音的空間音頻格式的示例包括MPEG-H(運(yùn)動(dòng)圖像專(zhuān)家組)3D音頻標(biāo)準(zhǔn)、HOA(高階高保真度立體聲響復(fù)制)空間音頻技術(shù)和DOLBY ATMOS環(huán)繞聲技術(shù)。

在SR環(huán)境中產(chǎn)生3D聲音效果的一種替代方案是操縱音頻對(duì)象中包含的各個(gè)離散聲音，這些離散聲音可以虛擬地位于3D環(huán)境中的任何位置上。使用現(xiàn)有空間音頻格式和對(duì)象為SR應(yīng)用程序創(chuàng)作音頻是困難的，因?yàn)闆](méi)有統(tǒng)一的方式來(lái)訪(fǎng)問(wèn)各種聲音來(lái)源并將其結(jié)合到動(dòng)態(tài)SR環(huán)境中。

發(fā)明內(nèi)容

如本文所述的用于空間音頻的文件格式的實(shí)施方案使得增強(qiáng)SR應(yīng)用程序開(kāi)發(fā)者能夠創(chuàng)作在SR應(yīng)用程序中使用的聲音，其中，對(duì)能夠被創(chuàng)作到SR應(yīng)用程序中的聲音進(jìn)行編碼的音頻數(shù)據(jù)被作為包括資源元數(shù)據(jù)的音頻資源予以存儲(chǔ)，該資源元數(shù)據(jù)不僅描述聲音如何被編碼，還描述具有空間音頻渲染能力的SR環(huán)境中的收聽(tīng)者對(duì)聲音有怎樣的體驗(yàn)。

SR開(kāi)發(fā)者可在開(kāi)發(fā)期間檢索音頻資源，預(yù)覽在回放期間收聽(tīng)者將對(duì)聲音有怎樣的體驗(yàn)，將音頻資源附加到與在SR環(huán)境中體驗(yàn)聲音相關(guān)聯(lián)的SR對(duì)象上，以及編輯資源元數(shù)據(jù)，直至達(dá)到影響收聽(tīng)者對(duì)聲音有怎樣的體驗(yàn)的預(yù)期3D聲音效果。

在一個(gè)實(shí)施方案中，音頻資源被創(chuàng)建并存儲(chǔ)在音頻資源庫(kù)中，可從該音頻資源庫(kù)檢索音頻資源以便將其創(chuàng)作到SR應(yīng)用程序中。應(yīng)用程序的創(chuàng)作可以包含將音頻資源附加到與在SR環(huán)境中體驗(yàn)聲音相關(guān)聯(lián)的SR對(duì)象上。

在一個(gè)實(shí)施方案中，收聽(tīng)者在SR環(huán)境中對(duì)聲音有怎樣的體驗(yàn)取決于如何在包括聲音回放系統(tǒng)中模擬3D聲音(也稱(chēng)為空間聲音)，聲音回放系統(tǒng)包括使用雙耳渲染(例如，通過(guò)耳機(jī))、針對(duì)僅基于揚(yáng)聲器的回放系統(tǒng)的渲染或者針對(duì)合并耳機(jī)-揚(yáng)聲器系統(tǒng)的渲染的聲音系統(tǒng)。本文所述的用于空間音頻的文件格式的實(shí)施方案支持各種各樣的聲音來(lái)源和音頻編碼，這些編碼用于再現(xiàn)聲音，從而在包括使用雙耳渲染的單收聽(tīng)者回放系統(tǒng)在內(nèi)的聲音回放系統(tǒng)中模擬空間聲音。

根據(jù)用于空間音頻的文件格式的實(shí)施方案，音頻資源存儲(chǔ)在音頻庫(kù)中，其中音頻資源包含音頻數(shù)據(jù)，音頻數(shù)據(jù)對(duì)音頻數(shù)據(jù)表示的聲音進(jìn)行編碼，包括以下各項(xiàng)中的任何一者或多者：對(duì)個(gè)體聲音的單耳記錄；對(duì)聲音環(huán)境的多信道記錄，包括使用麥克風(fēng)陣列產(chǎn)生的記錄、多個(gè)聲音來(lái)源的所記錄混頻(包括使用一個(gè)或多個(gè)麥克風(fēng)記錄的多個(gè)離散聲音的混頻)或者保留所記錄聲音的空間特征的記錄中的任一者；以及用于產(chǎn)生一個(gè)或多個(gè)聲音的合成音頻數(shù)據(jù)。

為了適應(yīng)表示不同類(lèi)型的聲音來(lái)源(從其捕獲聲音)的音頻數(shù)據(jù)，根據(jù)用于空間音頻的文件格式的實(shí)施方案的存儲(chǔ)在音頻庫(kù)中的音頻資源包括描述將如何對(duì)音頻數(shù)據(jù)(其編碼了由收聽(tīng)者體驗(yàn)的聲音)進(jìn)行解碼的資源元數(shù)據(jù)，該資源元數(shù)據(jù)包括用于該音頻資源的全局元數(shù)據(jù)和用于該音頻資源的任何一個(gè)或多個(gè)信道的信道元數(shù)據(jù)。