[發(fā)明專利]語音識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111067308.4
• 申請日: 2021-09-13
• 公開（公告）號(hào): CN113823278A
• 公開（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: 吳俊;陳孝良;李智勇
• 申請（專利權(quán)）人: 北京聲智科技有限公司
• 主分類號(hào): G10L15/20
• 分類號(hào): G10L15/20;G10L15/26;G10L15/14;G10L15/16;G10L15/02
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 邢少真

本申請?zhí)峁┝艘环N語音識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，屬于語音識(shí)別技術(shù)領(lǐng)域。所述方法包括：獲取音頻信號(hào)和振動(dòng)信號(hào)，振動(dòng)信號(hào)為第一對象的發(fā)聲部位的皮膚振動(dòng)產(chǎn)生的信號(hào)，音頻信號(hào)的采集時(shí)間與振動(dòng)信號(hào)的采集時(shí)間之間的時(shí)間間隔在預(yù)設(shè)范圍內(nèi)；分別確定音頻信號(hào)與振動(dòng)信號(hào)之間的關(guān)聯(lián)特征、音頻信號(hào)的音頻特征以及振動(dòng)信號(hào)的振動(dòng)特征；對關(guān)聯(lián)特征、音頻特征和振動(dòng)特征進(jìn)行融合，得到融合特征；對融合特征進(jìn)行語音識(shí)別。本申請結(jié)合振動(dòng)信號(hào)以及音頻信號(hào)與振動(dòng)信號(hào)之間的關(guān)聯(lián)特征進(jìn)行語音識(shí)別，即使在嘈雜的環(huán)境中，也能夠降低噪聲對語音識(shí)別的干擾，提高語音識(shí)別的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請涉及語音識(shí)別技術(shù)領(lǐng)域，特別涉及一種語音識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

近年來，語音識(shí)別技術(shù)發(fā)展迅速，已廣泛應(yīng)用于文本轉(zhuǎn)換、智能問答和語音控制等場景。通常情況下，電子設(shè)備采集環(huán)境中的音頻信號(hào)，基于語音識(shí)別技術(shù)，對采集到的音頻信號(hào)進(jìn)行識(shí)別，得到文本信息。但是，在嘈雜的環(huán)境中，電子設(shè)備采集到的音頻信號(hào)包含噪聲，噪聲對語音識(shí)別的干擾較大，會(huì)導(dǎo)致語音識(shí)別的準(zhǔn)確性降低。

發(fā)明內(nèi)容

本申請實(shí)施例提供了一種語音識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，能夠提高語音識(shí)別的準(zhǔn)確性。所述技術(shù)方案如下：

根據(jù)本申請實(shí)施例的一方面，提供了一種語音識(shí)別方法，所述方法包括：獲取音頻信號(hào)和振動(dòng)信號(hào)，所述振動(dòng)信號(hào)為第一對象的發(fā)聲部位的皮膚振動(dòng)產(chǎn)生的信號(hào)，所述音頻信號(hào)的采集時(shí)間與所述振動(dòng)信號(hào)的采集時(shí)間之間的時(shí)間間隔在預(yù)設(shè)范圍內(nèi)；分別確定所述音頻信號(hào)與所述振動(dòng)信號(hào)之間的關(guān)聯(lián)特征、所述音頻信號(hào)的音頻特征、以及所述振動(dòng)信號(hào)的振動(dòng)特征；對所述關(guān)聯(lián)特征、所述音頻特征和所述振動(dòng)特征進(jìn)行融合，得到融合特征；對所述融合特征進(jìn)行語音識(shí)別。

根據(jù)本申請實(shí)施例的另一方面，提供了一種語音識(shí)別裝置，所述裝置包括：信號(hào)獲取模塊，用于獲取音頻信號(hào)和振動(dòng)信號(hào)，所述振動(dòng)信號(hào)為第一對象的發(fā)聲部位的皮膚振動(dòng)產(chǎn)生的信號(hào)，所述音頻信號(hào)的采集時(shí)間與所述振動(dòng)信號(hào)的采集時(shí)間之間的時(shí)間間隔在預(yù)設(shè)范圍內(nèi)；特征確定模塊，用于分別確定所述音頻信號(hào)與所述振動(dòng)信號(hào)之間的關(guān)聯(lián)特征、所述音頻信號(hào)的音頻特征、以及所述振動(dòng)信號(hào)的振動(dòng)特征；特征融合模塊，用于對所述關(guān)聯(lián)特征、所述音頻特征和所述振動(dòng)特征進(jìn)行融合，得到融合特征；語音識(shí)別模塊，用于對所述融合特征進(jìn)行語音識(shí)別。

在一種可能的實(shí)現(xiàn)方式中，所述特征確定模塊，用于：按照相同的時(shí)間長度對所述音頻信號(hào)和所述振動(dòng)信號(hào)分別進(jìn)行分幀，得到連續(xù)的多個(gè)音頻信號(hào)幀和多個(gè)振動(dòng)信號(hào)幀，其中，每個(gè)音頻信號(hào)幀按照時(shí)間對應(yīng)有一個(gè)振動(dòng)信號(hào)幀；確定每個(gè)所述音頻信號(hào)幀與所述音頻信號(hào)幀對應(yīng)的振動(dòng)信號(hào)幀之間的關(guān)聯(lián)子特征；確定所述關(guān)聯(lián)特征由多個(gè)所述音頻信號(hào)幀對應(yīng)的關(guān)聯(lián)子特征構(gòu)成；確定所述音頻特征由多個(gè)所述音頻信號(hào)幀的音頻子特征構(gòu)成；確定所述振動(dòng)特征由多個(gè)所述振動(dòng)信號(hào)幀的振動(dòng)子特征構(gòu)成。

在一種可能的實(shí)現(xiàn)方式中，所述特征融合模塊，用于：對每個(gè)所述音頻信號(hào)幀的音頻子特征、所述音頻信號(hào)幀對應(yīng)的振動(dòng)信號(hào)幀的振動(dòng)子特征以及所述音頻信號(hào)幀與所述振動(dòng)信號(hào)幀之間的關(guān)聯(lián)子特征進(jìn)行融合，得到所述音頻信號(hào)幀對應(yīng)的融合子特征；確定所述融合特征由多個(gè)所述音頻信號(hào)幀對應(yīng)的融合子特征構(gòu)成。

在一種可能的實(shí)現(xiàn)方式中，所述融合特征包括多個(gè)所述音頻信號(hào)幀對應(yīng)的融合子特征，所述語音識(shí)別模塊，包括：特征更新單元，用于對每個(gè)所述音頻信號(hào)幀對應(yīng)的融合子特征與所述音頻信號(hào)幀對應(yīng)的多個(gè)其他融合子特征進(jìn)行融合，得到所述音頻信號(hào)幀對應(yīng)的更新后的融合子特征；語音識(shí)別單元，用于調(diào)用語音識(shí)別網(wǎng)絡(luò)，對多個(gè)所述音頻信號(hào)幀對應(yīng)的更新后的融合子特征進(jìn)行語音識(shí)別，得到文本信息；其中，所述多個(gè)其他融合子特征為位于所述音頻信號(hào)幀之前的第一數(shù)量的音頻信號(hào)幀對應(yīng)的融合子特征或位于所述音頻信號(hào)幀之后的第二數(shù)量的音頻信號(hào)幀對應(yīng)的融合子特征，或者所述多個(gè)其他的融合子特征為取自所述音頻信號(hào)幀之前和之后的多個(gè)音頻信號(hào)幀對應(yīng)的融合子特征。