[發(fā)明專利]用于在虛擬揚(yáng)聲器陣列上渲染音頻的信號(hào)處理方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710086862.4
• 申請(qǐng)日: 2017-02-17
• 公開（公告）號(hào): CN107094277B
• 公開（公告）日: 2019-02-05
• 發(fā)明（設(shè)計(jì)）人: 弗朗西斯·摩根·博蘭
• 申請(qǐng)（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號(hào): H04S5/00
• 分類號(hào): H04S5/00;H04S5/02;H04S1/00;H04S3/00
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 李寶泉;周亞榮

用于在虛擬揚(yáng)聲器陣列上渲染音頻的信號(hào)處理方法和系統(tǒng)，涉及將均衡實(shí)現(xiàn)狀態(tài)空間模型應(yīng)用于每個(gè)頭相關(guān)傳遞函數(shù)(HRTF)來(lái)降低有效FIR或甚至無(wú)限脈沖響應(yīng)(IIR)濾波器的階數(shù)。經(jīng)由例如z變換，由頭相關(guān)脈沖響應(yīng)濾波器(HRIR)導(dǎo)出每個(gè)HRTF G(z)。HRIR的數(shù)據(jù)可以用來(lái)經(jīng)由關(guān)系G(z)＝C(zI?A)^?1B+D構(gòu)造HRTF的第一狀態(tài)空間表示[A,B,C,D]。第一狀態(tài)空間表示不是唯一的，因此對(duì)于FIR濾波器，可以將A和B設(shè)定為簡(jiǎn)單的二值陣列，C和D包含HRIR數(shù)據(jù)，導(dǎo)致格拉姆矩陣Q的簡(jiǎn)單形式，其本征向量提供使通過Hankel范數(shù)測(cè)量的系統(tǒng)增益最大化的系統(tǒng)狀態(tài)。通過僅考慮與大于某些閾值的本征值相關(guān)聯(lián)的狀態(tài)，可以截取HRTF的均衡狀態(tài)空間表示來(lái)提供良好逼近原始HRTF的近似HRTF，同時(shí)使計(jì)算量減少多大90％。

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)是2016年2月18日提交的，名為“Signal Processing Methods andSystems for Rendering Audio on Virtual Loudspeaker Arrays(用于在虛擬揚(yáng)聲器陣列上渲染音頻的信號(hào)處理方法和系統(tǒng))”的U.S.臨時(shí)申請(qǐng)No.62/296,934的非臨時(shí)申請(qǐng)并且要求其的優(yōu)先權(quán)，其全部?jī)?nèi)容全部并入本文。

背景技術(shù)

環(huán)繞聽者的揚(yáng)聲器的虛擬陣列通常被使用在創(chuàng)建用于耳機(jī)遞送的音頻的虛擬空間聲學(xué)環(huán)境中。由該揚(yáng)聲器創(chuàng)建的聲場(chǎng)能夠被操縱來(lái)遞送相對(duì)于用戶移動(dòng)的聲源的效果或者在用戶移動(dòng)他們的頭部時(shí)使該源穩(wěn)定在固定空間位置處。這些是對(duì)通過虛擬現(xiàn)實(shí)(VR)系統(tǒng)中的耳機(jī)的音頻遞送而言非常重要的操作。

被處理以用于向虛擬揚(yáng)聲器的遞送的多聲道音頻被組合以將一對(duì)信號(hào)提供給左右耳機(jī)揚(yáng)聲器。多聲道音頻的組合的此過程被稱為雙耳渲染(binaural rendering)。實(shí)現(xiàn)此渲染的普通接受的最有效方式是使用實(shí)現(xiàn)頭相關(guān)傳遞函數(shù)(HRTF)的多聲道濾波系統(tǒng)。在基于多個(gè)——例如M(其中M是任意數(shù)字)個(gè)虛擬揚(yáng)聲器的系統(tǒng)中，雙耳渲染將需要具有2M個(gè)HRTF濾波器，因?yàn)槊繐P(yáng)聲器使用一對(duì)濾波器來(lái)對(duì)揚(yáng)聲器和用戶的左右耳之間的傳輸函數(shù)進(jìn)行建模。

發(fā)明內(nèi)容

執(zhí)行雙耳渲染的常規(guī)手段要求大量計(jì)算資源。沿著這些思路，當(dāng)HRTF被表示為n階的有限脈沖響應(yīng)(FIR)濾波器時(shí)，每個(gè)雙耳輸出要求每聲道2Mn個(gè)乘法和加法運(yùn)算。這樣的運(yùn)算會(huì)使被分配用于例如虛擬現(xiàn)實(shí)應(yīng)用中的雙耳渲染的有限資源。

與執(zhí)行要求大量計(jì)算資源的雙耳渲染的常規(guī)手段相比，改進(jìn)的技術(shù)涉及將均衡實(shí)現(xiàn)狀態(tài)空間模型應(yīng)用于每個(gè)HRTF來(lái)降低有效FIR或甚至無(wú)限脈沖響應(yīng)(IIR)濾波器的階數(shù)。沿著這些思路，經(jīng)由例如z變換，由頭相關(guān)脈沖響應(yīng)濾波器(HRIR)導(dǎo)出每個(gè)HRTF G(z)。HRIR的數(shù)據(jù)可以被用來(lái)經(jīng)由關(guān)系G(z)＝C(zI-A)^-1B+D構(gòu)造HRTF的第一狀態(tài)空間表示[A，B，C，D]。該第一狀態(tài)空間表示不是唯一的，并且因此對(duì)于FIR濾波器，A和B可以被設(shè)定為簡(jiǎn)單的二值陣列，而C和D包含HRIR數(shù)據(jù)。此表示導(dǎo)致簡(jiǎn)單形式的格拉姆矩陣(Gramian)Q，其本征向量提供使通過Hankel范數(shù)測(cè)量的系統(tǒng)增益最大化的系統(tǒng)狀態(tài)。此外，Q的因式分解提供向均衡狀態(tài)空間的變換，其中，格拉姆矩陣等于Q的本征值的對(duì)角矩陣。通過僅考慮與大于某些閾值的本征值相關(guān)聯(lián)的那些狀態(tài)，可以截取HRTF的均衡狀態(tài)空間表示來(lái)提供良好逼近原始HRTF的近似HRTF，同時(shí)使所需的計(jì)算量減少多達(dá)90％。