[發(fā)明專利]用于空間音頻的文件格式

在審

• 申請?zhí)枺?/td>: 202111483443.7
• 申請日: 2018-09-25
• 公開（公告）號(hào): CN114047902A
• 公開（公告）日: 2022-02-15
• 發(fā)明（設(shè)計(jì)）人: M·S·康諾利;C·T·尤班克;S·E·平托;T·霍爾曼
• 申請（專利權(quán)）人: 蘋果公司
• 主分類號(hào): G06F3/16
• 分類號(hào): G06F3/16;G10L19/008;G10L19/16;H04S7/00
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 郭星

本公開涉及用于空間音頻的文件格式。包含根據(jù)用于空間音頻的文件格式進(jìn)行格式化的音頻資源的音頻資源庫包括使得模擬現(xiàn)實(shí)(SR)應(yīng)用程序開發(fā)者能夠創(chuàng)作在SR應(yīng)用程序中使用的聲音的資源元數(shù)據(jù)。音頻資源被格式化為包括音頻數(shù)據(jù)和資源元數(shù)據(jù)，其中音頻數(shù)據(jù)對能夠被創(chuàng)作到SR應(yīng)用程序中的聲音進(jìn)行了編碼，資源元數(shù)據(jù)不僅描述聲音是如何被編碼的，而且還描述SR環(huán)境中的收聽者對聲音有怎樣的體驗(yàn)。SR開發(fā)者平臺(tái)被配置為使得開發(fā)者能夠使用存儲(chǔ)在音頻庫中的音頻資源為SR對象創(chuàng)作聲音，包括編輯資源元數(shù)據(jù)以包括變換參數(shù)，該變換參數(shù)支持資源元數(shù)據(jù)在SR環(huán)境中的動(dòng)態(tài)變換，從而改變SR收聽者對所創(chuàng)作聲音的體驗(yàn)。還描述了其他實(shí)施方案并要求對其進(jìn)行保護(hù)。

相關(guān)申請引用

本申請是國際申請?zhí)枮镻CT/US2018/052717、國際申請日為2018年9月25日、進(jìn)入中國國家階段日期為2020年3月3日、中國國家申請?zhí)枮?01880057198.3、發(fā)明名稱為“用于空間音頻的文件格式”的發(fā)明專利申請的分案申請。

本非臨時(shí)專利申請要求2017年9月29日提交的美國臨時(shí)專利申請62/566,094的較早提交日期的權(quán)益。

技術(shù)領(lǐng)域

技術(shù)領(lǐng)域整體涉及用于音頻處理的計(jì)算機(jī)化數(shù)據(jù)處理系統(tǒng)和方法，并且具體地，涉及模擬現(xiàn)實(shí)環(huán)境中的空間音頻處理。

背景技術(shù)

在增強(qiáng)現(xiàn)實(shí)(AR)、虛擬現(xiàn)實(shí)(VR)和混合現(xiàn)實(shí)(MR)應(yīng)用(在本公開中它們?nèi)坑赡M現(xiàn)實(shí)(SR)一詞涵蓋)中產(chǎn)生三維(3D)聲音效果是具有挑戰(zhàn)性的，因?yàn)楝F(xiàn)有音頻格式最初被設(shè)計(jì)用于在具有固定揚(yáng)聲器位置和靜態(tài)收聽者的物理環(huán)境中(諸如在電影院中)產(chǎn)生3D聲音。被設(shè)計(jì)為產(chǎn)生3D聲音的空間音頻格式的示例包括MPEG-H(運(yùn)動(dòng)圖像專家組)3D音頻標(biāo)準(zhǔn)、HOA(高階高保真度立體聲響復(fù)制)空間音頻技術(shù)和DOLBY ATMOS環(huán)繞聲技術(shù)。

在SR環(huán)境中產(chǎn)生3D聲音效果的一種替代方案是操縱音頻對象中包含的各個(gè)離散聲音，這些離散聲音可以虛擬地位于3D環(huán)境中的任何位置上。使用現(xiàn)有空間音頻格式和對象為SR應(yīng)用程序創(chuàng)作音頻是困難的，因?yàn)闆]有統(tǒng)一的方式來訪問各種聲音來源并將其結(jié)合到動(dòng)態(tài)SR環(huán)境中。

發(fā)明內(nèi)容

如本文所述的用于空間音頻的文件格式的實(shí)施方案使得增強(qiáng)SR應(yīng)用程序開發(fā)者能夠創(chuàng)作在SR應(yīng)用程序中使用的聲音，其中，對能夠被創(chuàng)作到SR應(yīng)用程序中的聲音進(jìn)行編碼的音頻數(shù)據(jù)被作為包括資源元數(shù)據(jù)的音頻資源予以存儲(chǔ)，該資源元數(shù)據(jù)不僅描述聲音如何被編碼，還描述具有空間音頻渲染能力的SR環(huán)境中的收聽者對聲音有怎樣的體驗(yàn)。

SR開發(fā)者可在開發(fā)期間檢索音頻資源，預(yù)覽在回放期間收聽者將對聲音有怎樣的體驗(yàn)，將音頻資源附加到與在SR環(huán)境中體驗(yàn)聲音相關(guān)聯(lián)的SR對象上，以及編輯資源元數(shù)據(jù)，直至達(dá)到影響收聽者對聲音有怎樣的體驗(yàn)的預(yù)期3D聲音效果。

在一個(gè)實(shí)施方案中，音頻資源被創(chuàng)建并存儲(chǔ)在音頻資源庫中，可從該音頻資源庫檢索音頻資源以便將其創(chuàng)作到SR應(yīng)用程序中。應(yīng)用程序的創(chuàng)作可以包含將音頻資源附加到與在SR環(huán)境中體驗(yàn)聲音相關(guān)聯(lián)的SR對象上。

在一個(gè)實(shí)施方案中，收聽者在SR環(huán)境中對聲音有怎樣的體驗(yàn)取決于如何在包括聲音回放系統(tǒng)中模擬3D聲音(也稱為空間聲音)，聲音回放系統(tǒng)包括使用雙耳渲染(例如，通過耳機(jī))、針對僅基于揚(yáng)聲器的回放系統(tǒng)的渲染或者針對合并耳機(jī)-揚(yáng)聲器系統(tǒng)的渲染的聲音系統(tǒng)。本文所述的用于空間音頻的文件格式的實(shí)施方案支持各種各樣的聲音來源和音頻編碼，這些編碼用于再現(xiàn)聲音，從而在包括使用雙耳渲染的單收聽者回放系統(tǒng)在內(nèi)的聲音回放系統(tǒng)中模擬空間聲音。