[發(fā)明專利]音頻處理方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310001661.5
• 申請(qǐng)日: 2023-01-03
• 公開（公告）號(hào): CN116320962A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 張祿
• 申請(qǐng)（專利權(quán)）人: 蔚來汽車科技（安徽）有限公司
• 主分類號(hào): H04S3/00
• 分類號(hào): H04S3/00;H04S7/00;G10L25/30;G10L25/03;G06N3/0464;G06N3/08
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 黃麗霞

1.一種音頻處理方法，其特征在于，所述方法包括：

獲取待處理音頻信號(hào)和配置的三維音源位置坐標(biāo)，所述待處理音頻信號(hào)為立體聲格式的音頻信號(hào)；

對(duì)所述待處理音頻信號(hào)進(jìn)行預(yù)處理，得到預(yù)處理后的標(biāo)準(zhǔn)音頻信號(hào)；

對(duì)所述標(biāo)準(zhǔn)音頻信號(hào)進(jìn)行特征提取，得到提取的時(shí)域音頻特征和頻域音頻特征；

根據(jù)所述三維音源位置坐標(biāo)對(duì)所述時(shí)域音頻特征和所述頻域音頻特征進(jìn)行上混處理，得到處理后的具有三維聲道的目標(biāo)音頻信號(hào)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述待處理音頻信號(hào)進(jìn)行預(yù)處理，得到預(yù)處理后的標(biāo)準(zhǔn)音頻信號(hào)，包括：

根據(jù)預(yù)先設(shè)定的幀長(zhǎng)和幀移對(duì)所述待處理音頻信號(hào)進(jìn)行分幀處理，得到多個(gè)音頻信號(hào)幀；

針對(duì)每個(gè)所述音頻信號(hào)幀，分別進(jìn)行聲道平均處理，得到處理后的平均音頻信號(hào)幀；

獲取所述平均音頻信號(hào)幀的音頻采樣率，將所述音頻采樣率轉(zhuǎn)換為目標(biāo)音頻采樣率，得到所述平均音頻信號(hào)幀的標(biāo)準(zhǔn)音頻信號(hào)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述標(biāo)準(zhǔn)音頻信號(hào)進(jìn)行特征提取，得到提取的時(shí)域音頻特征和頻域音頻特征，包括：

根據(jù)所述目標(biāo)音頻采樣率對(duì)所述標(biāo)準(zhǔn)音頻信號(hào)進(jìn)行采樣，得到采樣的時(shí)域音頻特征；

通過對(duì)所述時(shí)域音頻特征進(jìn)行短時(shí)傅里葉變換，得到變換后的頻域音頻特征。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述三維音源位置坐標(biāo)對(duì)所述時(shí)域音頻特征和所述頻域音頻特征進(jìn)行上混處理，得到處理后的具有三維聲道的目標(biāo)音頻信號(hào)，包括：

對(duì)所述時(shí)域音頻特征和所述頻域音頻特征分別進(jìn)行歸一化處理，得到歸一化后的時(shí)域特征和頻域特征；

對(duì)歸一化后的所述時(shí)域特征和所述頻域特征進(jìn)行特征綜合變換，得到綜合變換后的隱空間特征；

根據(jù)所述三維音源位置坐標(biāo)對(duì)所述隱空間特征進(jìn)行解析、分離和重組，得到具有三維聲道的目標(biāo)音頻信號(hào)。

5.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述三維音源位置坐標(biāo)對(duì)所述時(shí)域音頻特征和所述頻域音頻特征進(jìn)行上混處理，得到處理后的具有三維聲道的目標(biāo)音頻信號(hào)，包括：

將所述三維音源位置坐標(biāo)、所述時(shí)域音頻特征和所述頻域音頻特征，輸入預(yù)先訓(xùn)練的音頻上混模型進(jìn)行上混處理，得到所述音頻上混模型輸出的具有三維聲道的目標(biāo)音頻信號(hào)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述音頻上混模型的生成方法包括：

根據(jù)原始音軌信號(hào)構(gòu)建訓(xùn)練數(shù)據(jù)集，所述訓(xùn)練數(shù)據(jù)集包括所述原始音軌信號(hào)、采樣的三維音源位置坐標(biāo)樣本以及渲染的三維聲道的樣本音頻信號(hào)；

將所述原始音軌信號(hào)和所述三維音源位置坐標(biāo)樣本，輸入卷積注意力神經(jīng)網(wǎng)絡(luò)進(jìn)行上混處理，得到處理后的具有三維聲道的預(yù)測(cè)音頻信號(hào)；

根據(jù)所述樣本音頻信號(hào)、所述預(yù)測(cè)音頻信號(hào)以及預(yù)設(shè)的均方誤差損失函數(shù)，對(duì)所述卷積注意力神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直到收斂時(shí)得到訓(xùn)練后的音頻上混模型。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)原始音軌信號(hào)構(gòu)建訓(xùn)練數(shù)據(jù)集，包括：

獲取多路不同聲音的原始音軌信號(hào)；

根據(jù)所述三維聲道的三個(gè)坐標(biāo)軸，以設(shè)定步長(zhǎng)對(duì)設(shè)定空間進(jìn)行均勻采樣，得到采樣的三維音源位置坐標(biāo)樣本；

根據(jù)所述三維音源位置坐標(biāo)樣本對(duì)多路所述原始音軌信號(hào)進(jìn)行布局渲染，得到渲染的三維聲道的樣本音頻信號(hào)；

根據(jù)多路所述原始音軌信號(hào)、所述三維音源位置坐標(biāo)樣本以及所述樣本音頻信號(hào)，構(gòu)建所述訓(xùn)練數(shù)據(jù)集。