[發(fā)明專(zhuān)利]音頻信號(hào)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210141643.2
• 申請(qǐng)日: 2022-02-16
• 公開(kāi)（公告）號(hào): CN114203163A
• 公開(kāi)（公告）日: 2022-03-18
• 發(fā)明（設(shè)計(jì)）人: 胡貝貝;夏日升;許劍峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 榮耀終端有限公司
• 主分類(lèi)號(hào): G10L15/02
• 分類(lèi)號(hào): G10L15/02;G10L15/06;G10L15/16
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 戴皓

本申請(qǐng)?zhí)峁┝艘环N音頻信號(hào)處理方法及裝置，該方法采用基于神經(jīng)網(wǎng)絡(luò)的人聲提取模型，從原始立體聲信號(hào)中提取出左、右聲道背景聲信號(hào)和人聲信號(hào)。對(duì)左、右聲道背景聲信號(hào)進(jìn)行聲場(chǎng)擴(kuò)展得到擴(kuò)展背景聲信號(hào)；進(jìn)一步，對(duì)人聲信號(hào)進(jìn)行語(yǔ)音檢測(cè)獲得目標(biāo)人聲信號(hào)。最后，對(duì)擴(kuò)展背景聲信號(hào)和目標(biāo)人聲信號(hào)進(jìn)行混音處理，得到目標(biāo)輸出音頻信號(hào)。可見(jiàn)，基于神經(jīng)網(wǎng)絡(luò)的人聲提取模型能夠提取出比較純凈的人聲信號(hào)，從而獲得比較純凈的背景聲信號(hào)，對(duì)純凈的背景聲信號(hào)進(jìn)行聲場(chǎng)擴(kuò)展，避免了人聲變散變虛的問(wèn)題，提高了聲場(chǎng)擴(kuò)展效果。而且，提高了人聲清晰度和聲場(chǎng)擴(kuò)展效果，進(jìn)一步提高了用戶(hù)的聽(tīng)覺(jué)體驗(yàn)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及音頻處理技術(shù)領(lǐng)域，尤其涉及音頻信號(hào)處理方法及裝置。

背景技術(shù)

為了提升用戶(hù)的影音感受，智能終端（如智能手機(jī)、平板電腦、智慧屏等）設(shè)置有至少兩個(gè)揚(yáng)聲器，從而實(shí)現(xiàn)立體聲播放。如圖1所示，以智能手機(jī)為例，手機(jī)的頂部和底部分別設(shè)置有揚(yáng)聲器，用戶(hù)用揚(yáng)聲器播放立體聲信號(hào)時(shí)，經(jīng)過(guò)兩個(gè)揚(yáng)聲器傳出不同的聲音信號(hào)，如，從頂部揚(yáng)聲器輸出的第一聲音信號(hào)傳到用戶(hù)的右耳，從底部揚(yáng)聲器輸出的第二聲音信號(hào)傳到用戶(hù)的左耳，使用戶(hù)兩只耳朵聽(tīng)到不同的聲音信息，從而實(shí)現(xiàn)立體聲播放。

為了進(jìn)一步呈現(xiàn)沉浸式效果，終端設(shè)備還會(huì)通過(guò)軟件處理對(duì)聲場(chǎng)進(jìn)行擴(kuò)展。但目前的聲場(chǎng)擴(kuò)展算法可以使聲場(chǎng)寬度變寬，但是聲音中的人聲信號(hào)經(jīng)過(guò)聲場(chǎng)擴(kuò)展后，會(huì)導(dǎo)致人聲的聲音清晰度下降、聲音變渾濁。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┝艘环N音頻信號(hào)處理方法及裝置，以解決至少部分上述的技術(shù)問(wèn)題，其公開(kāi)的技術(shù)方案如下：

第一方面，本申請(qǐng)?zhí)峁┝艘环N音頻信號(hào)處理方法，應(yīng)用于電子設(shè)備，該方法包括：將原始立體聲信號(hào)輸入基于神經(jīng)網(wǎng)絡(luò)的人聲提取模型，進(jìn)行人聲信號(hào)識(shí)別和提取，獲得第一人聲信號(hào)和背景聲信號(hào)，背景聲信號(hào)包括左聲道背景聲信號(hào)和右聲道背景聲信號(hào)；擴(kuò)展背景聲信號(hào)的聲場(chǎng)獲得擴(kuò)展背景聲信號(hào)；對(duì)第一人聲信號(hào)進(jìn)行語(yǔ)音檢測(cè)，獲得目標(biāo)人聲信號(hào)；將擴(kuò)展背景聲信號(hào)和目標(biāo)人聲信號(hào)進(jìn)行混音處理，得到目標(biāo)輸出音頻信號(hào)。可見(jiàn)，該方案基于神經(jīng)網(wǎng)絡(luò)的人聲提取模型能夠提取出比較純凈的人聲信號(hào)，從而獲得比較純凈的背景聲信號(hào)，對(duì)純凈的背景聲信號(hào)進(jìn)行聲場(chǎng)擴(kuò)展，避免了人聲變散變虛的問(wèn)題，提高了聲場(chǎng)擴(kuò)展效果，提高了用戶(hù)的聽(tīng)覺(jué)體驗(yàn)。

在一種可能的實(shí)現(xiàn)方式中，人聲提取模型為頻域的人聲提取模型；將原始立體聲信號(hào)輸入基于神經(jīng)網(wǎng)絡(luò)的人聲提取模型，進(jìn)行人聲信號(hào)識(shí)別和提取，獲得第一人聲信號(hào)、左聲道背景聲信號(hào)和右聲道背景聲信號(hào)，包括：將原始立體聲信號(hào)進(jìn)行時(shí)頻轉(zhuǎn)換獲得頻域立體聲信號(hào)；將頻域立體聲信號(hào)輸入至人聲提取模型，提取頻域立體聲信號(hào)對(duì)應(yīng)的頻譜特征，并分析頻譜特征獲得頻域立體聲信號(hào)對(duì)應(yīng)的人聲掩碼和背景聲掩碼，人聲掩碼表征頻域立體聲信號(hào)中每一幀聲音信號(hào)是否是人聲信號(hào)，背景聲掩碼表征頻域立體聲信號(hào)中每一幀聲音信號(hào)是否是背景聲信號(hào)；將頻域立體聲信號(hào)對(duì)應(yīng)的向量與人聲掩碼進(jìn)行向量乘法運(yùn)算，獲得頻域立體聲信號(hào)中的頻域人聲信號(hào)；將頻域立體聲信號(hào)與背景聲掩碼進(jìn)行向量乘法運(yùn)算，獲得頻域立體聲信號(hào)包含的左聲道頻域背景聲信號(hào)和右聲道頻域背景聲信號(hào)；將頻域人聲信號(hào)進(jìn)行頻時(shí)轉(zhuǎn)換獲得時(shí)域的人聲信號(hào)；將左聲道頻域背景聲信號(hào)和右聲道頻域背景聲信號(hào)進(jìn)行頻時(shí)轉(zhuǎn)換獲得時(shí)域的背景聲信號(hào)。

在另一種可能的實(shí)現(xiàn)方式中，人聲提取模型能夠處理時(shí)域的音頻信號(hào)；將原始立體聲信號(hào)輸入基于神經(jīng)網(wǎng)絡(luò)的人聲提取模型，進(jìn)行人聲信號(hào)識(shí)別和提取，獲得第一人聲信號(hào)、左聲道背景聲信號(hào)和右聲道背景聲信號(hào)，包括：將原始立體聲信號(hào)對(duì)應(yīng)的向量輸入至人聲提取模型，提取原始立體聲信號(hào)的特征向量，并分析特征向量，獲得原始立體聲信號(hào)對(duì)應(yīng)的人聲掩碼和背景聲掩碼，人聲掩碼表征立體聲信號(hào)中每一幀聲音信號(hào)是否是人聲信號(hào)，背景聲掩碼表征頻域立體聲信號(hào)中每一幀聲音信號(hào)是否是背景聲信號(hào)；將原始立體聲信號(hào)的特征向量與人聲掩碼進(jìn)行向量乘法運(yùn)算，獲得人聲信號(hào)；將原始立體聲信號(hào)的特征向量與背景聲掩碼進(jìn)行向量乘法運(yùn)算，獲得左聲道背景聲信號(hào)和右聲道背景聲信號(hào)。