[發(fā)明專利]語(yǔ)音處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010129113.7
• 申請(qǐng)日: 2020-02-28
• 公開(kāi)（公告）號(hào): CN111326143B
• 公開(kāi)（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 吳華鑫;景子君;劉迪源;胡金水;潘嘉
• 申請(qǐng)（專利權(quán)）人: 科大訊飛股份有限公司
• 主分類號(hào): G10L15/02
• 分類號(hào): G10L15/02;G10L15/25;G10L15/26;G10L21/0272;G10L25/03;G10L15/06
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 薛嬌

本申請(qǐng)實(shí)施例公開(kāi)了一種語(yǔ)音處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，在獲取目標(biāo)語(yǔ)音信號(hào)和與目標(biāo)語(yǔ)音信號(hào)同步采集的至少一個(gè)目標(biāo)圖像序列后，基于目標(biāo)語(yǔ)音信號(hào)的頻譜圖，目標(biāo)語(yǔ)音信號(hào)的聲學(xué)特征，以及至少一個(gè)目標(biāo)圖像序列獲得目標(biāo)語(yǔ)音信號(hào)與至少一個(gè)目標(biāo)唇部圖像序列的第一融合特征，利用該第一融合特征從目標(biāo)語(yǔ)音信號(hào)的頻譜圖中分離出與各個(gè)目標(biāo)圖像序列對(duì)應(yīng)的子語(yǔ)音信號(hào)的頻譜圖，實(shí)現(xiàn)了語(yǔ)音分離。其中，唇動(dòng)相關(guān)區(qū)域的圖像序列的數(shù)量明確了語(yǔ)音分離的目標(biāo)數(shù)量，聲學(xué)特征和唇動(dòng)相關(guān)區(qū)域的圖像序列中攜帶的唇動(dòng)信息保證分離出的頻譜圖不會(huì)失真，從而提高多人場(chǎng)景下語(yǔ)音分離的準(zhǔn)確性，基于分離出的語(yǔ)音信號(hào)的語(yǔ)音識(shí)別效果也就相應(yīng)的提高。

技術(shù)領(lǐng)域

本申請(qǐng)涉及自然語(yǔ)言處理技術(shù)領(lǐng)域，更具體地說(shuō)，涉及一種語(yǔ)音處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

多人場(chǎng)景下的語(yǔ)音識(shí)別一直是語(yǔ)音識(shí)別領(lǐng)域中的難點(diǎn)，尤其是當(dāng)多人同時(shí)說(shuō)話使得說(shuō)話聲重疊時(shí)，直接對(duì)采集的語(yǔ)音信號(hào)進(jìn)行語(yǔ)音識(shí)別很難做到對(duì)某個(gè)特定人的語(yǔ)音識(shí)別，其識(shí)別結(jié)果是多人語(yǔ)音混疊的結(jié)果，錯(cuò)誤率高且難以理解。

為了實(shí)現(xiàn)多人場(chǎng)景下對(duì)特定人的語(yǔ)音識(shí)別，目前常用的做法是先從多人混疊的語(yǔ)音中分離出單人語(yǔ)音，然后對(duì)分離出的單人語(yǔ)音進(jìn)行語(yǔ)音識(shí)別。然而，本申請(qǐng)的發(fā)明人研究發(fā)現(xiàn)，這種語(yǔ)音識(shí)別方式在一定程度上提高了多人場(chǎng)景下的語(yǔ)音識(shí)別的準(zhǔn)確率，但由于語(yǔ)音分離任務(wù)易出現(xiàn)錯(cuò)分、漏分，甚至語(yǔ)音失真的情況，目前的語(yǔ)音識(shí)別的準(zhǔn)確率仍然較低。

因此，如何提高多人場(chǎng)景下的語(yǔ)音識(shí)別效果成為亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┝艘环N語(yǔ)音處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以提高多人場(chǎng)景下的語(yǔ)音識(shí)別效果。

為了實(shí)現(xiàn)上述目的，現(xiàn)提出的方案如下：

一種語(yǔ)音處理方法，包括：

獲取目標(biāo)語(yǔ)音信號(hào)和與所述目標(biāo)語(yǔ)音信號(hào)同步采集的至少一個(gè)目標(biāo)圖像序列；所述目標(biāo)圖像序列中的圖像為唇動(dòng)相關(guān)區(qū)域的圖像；

獲取所述目標(biāo)語(yǔ)音信號(hào)的頻譜圖，以及所述目標(biāo)語(yǔ)音信號(hào)的聲學(xué)特征；

基于所述頻譜圖、所述聲學(xué)特征以及所述至少一個(gè)目標(biāo)圖像序列，獲得所述目標(biāo)語(yǔ)音信號(hào)與所述至少一個(gè)目標(biāo)圖像序列的第一融合特征；

基于所述第一融合特征從所述目標(biāo)語(yǔ)音信號(hào)的頻譜圖中分離出與各個(gè)目標(biāo)圖像序列對(duì)應(yīng)的子語(yǔ)音信號(hào)的頻譜圖。

一種語(yǔ)音處理方法，包括：

獲取目標(biāo)語(yǔ)音信號(hào)和與所述目標(biāo)語(yǔ)音信號(hào)同步采集的至少一個(gè)目標(biāo)圖像序列；所述目標(biāo)圖像序列中的圖像為唇動(dòng)相關(guān)區(qū)域的圖像；

獲取所述目標(biāo)語(yǔ)音信號(hào)的頻譜圖，以及所述目標(biāo)語(yǔ)音信號(hào)的聲學(xué)特征；

基于所述頻譜圖、所述聲學(xué)特征以及所述至少一個(gè)目標(biāo)圖像序列，獲得所述目標(biāo)語(yǔ)音信號(hào)與每一個(gè)目標(biāo)圖像序列的第三融合特征；

對(duì)應(yīng)每一個(gè)目標(biāo)圖像序列，基于所述目標(biāo)語(yǔ)音信號(hào)與該目標(biāo)圖像序列的第三融合特征進(jìn)行語(yǔ)音識(shí)別，得到所述目標(biāo)語(yǔ)音信號(hào)中與該目標(biāo)圖像序列對(duì)應(yīng)的子語(yǔ)音信號(hào)的語(yǔ)音內(nèi)容。

一種語(yǔ)音處理裝置，包括：

第一獲取模塊，用于獲取目標(biāo)語(yǔ)音信號(hào)和與所述目標(biāo)語(yǔ)音信號(hào)同步采集的至少一個(gè)目標(biāo)圖像序列；所述目標(biāo)圖像序列中的圖像為唇動(dòng)相關(guān)區(qū)域的圖像；

第二獲取模塊，用于獲取所述目標(biāo)語(yǔ)音信號(hào)的頻譜圖，以及所述目標(biāo)語(yǔ)音信號(hào)的聲學(xué)特征；

第一融合模塊，用于基于所述頻譜圖、所述聲學(xué)特征以及所述至少一個(gè)目標(biāo)圖像序列，獲得所述目標(biāo)語(yǔ)音信號(hào)與所述至少一個(gè)目標(biāo)圖像序列的第一融合特征；

分離模塊，用于基于所述第一融合特征從所述目標(biāo)語(yǔ)音信號(hào)的頻譜圖中分離出與各個(gè)目標(biāo)圖像序列對(duì)應(yīng)的子語(yǔ)音信號(hào)的頻譜圖。