[發(fā)明專利]一種語音識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810113879.9
• 申請日: 2018-02-05
• 公開（公告）號(hào): CN108346427A
• 公開（公告）日: 2018-07-31
• 發(fā)明（設(shè)計(jì)）人: 李濱何
• 申請（專利權(quán)）人: 廣東小天才科技有限公司
• 主分類號(hào): G10L15/02
• 分類號(hào): G10L15/02;G10L15/25;G10L15/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明公開了一種語音識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。該方法包括：當(dāng)發(fā)聲事件被觸發(fā)時(shí)，接收麥克風(fēng)發(fā)送的用戶在執(zhí)行發(fā)聲事件過程中采集的語音信號(hào)和包含唇部的圖像信號(hào)；對語音信號(hào)進(jìn)行特征提取生成語音特征信號(hào)，以及對包含唇部的圖像信號(hào)進(jìn)行特征提取生成唇語特征信號(hào)；將語音特征信號(hào)和唇語特征信號(hào)發(fā)送給服務(wù)端，以指示服務(wù)端將語音特征信號(hào)與預(yù)設(shè)語音信號(hào)進(jìn)行匹配分析生成語音識(shí)別結(jié)果以及將唇語特征信號(hào)與預(yù)設(shè)唇語信號(hào)進(jìn)行匹配分析生成唇語識(shí)別結(jié)果，如果語音識(shí)別結(jié)果與唇語識(shí)別結(jié)果的相似度大于等于相似度閾值，則根據(jù)語音識(shí)別結(jié)果生成識(shí)別反饋結(jié)果并將所述識(shí)別反饋結(jié)果發(fā)送給終端。本發(fā)明實(shí)施例實(shí)現(xiàn)了提高語音識(shí)別率。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及語音識(shí)別技術(shù)，尤其涉及一種語音識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著電子信息化時(shí)代的到來，移動(dòng)設(shè)備越來越普及，移動(dòng)終端以及移動(dòng)終端的外接設(shè)備，如兒童平板電腦和麥克風(fēng)等。此外，上述設(shè)備可實(shí)現(xiàn)的功能也越來越豐富，如可以將麥克風(fēng)連接至移動(dòng)終端，根據(jù)移動(dòng)終端中顯示的內(nèi)容進(jìn)行語言學(xué)習(xí)或歌曲演唱，在這個(gè)過程中，需要麥克風(fēng)實(shí)時(shí)錄入用戶的聲音，再將該聲音上傳至移動(dòng)終端，在移動(dòng)終端中進(jìn)行相應(yīng)的語音識(shí)別，進(jìn)而得出語音識(shí)別結(jié)果，再根據(jù)語音識(shí)別結(jié)果給出語言學(xué)習(xí)或歌曲演唱的評價(jià)結(jié)果。

在上述過程中最為關(guān)鍵的是，語音識(shí)別結(jié)果的準(zhǔn)確性，而單純依靠語音識(shí)別技術(shù)可能無法進(jìn)一步提高語音識(shí)別率。

發(fā)明內(nèi)容

本發(fā)明提供一種語音識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以實(shí)現(xiàn)提高語音識(shí)別率。

第一方面，本發(fā)明實(shí)施例提供了一種語音識(shí)別方法，該方法包括：

當(dāng)發(fā)聲事件被觸發(fā)時(shí)，接收麥克風(fēng)發(fā)送的用戶在執(zhí)行所述發(fā)聲事件過程中采集的語音信號(hào)和包含唇部的圖像信號(hào)；

對所述語音信號(hào)進(jìn)行特征提取生成語音特征信號(hào)，以及對所述包含唇部的圖像信號(hào)進(jìn)行特征提取生成唇語特征信號(hào)；

將所述語音特征信號(hào)和所述唇語特征信號(hào)發(fā)送給服務(wù)端，以指示所述服務(wù)器將所述語音特征信號(hào)與預(yù)設(shè)語音信號(hào)進(jìn)行匹配分析生成語音識(shí)別結(jié)果以及將所述唇語特征信號(hào)與預(yù)設(shè)唇語信號(hào)進(jìn)行匹配分析生成唇語識(shí)別結(jié)果，如果所述語音識(shí)別結(jié)果與所述唇語識(shí)別結(jié)果的相似度大于等于相似度閾值，則根據(jù)所述語音識(shí)別結(jié)果生成識(shí)別反饋結(jié)果并將所述識(shí)別反饋結(jié)果發(fā)送給終端。

進(jìn)一步的，所述對所述語音信號(hào)進(jìn)行特征提取生成語音特征信號(hào)，包括：

對所述語音信號(hào)進(jìn)行語音特征參數(shù)提取得到語音特征參數(shù)；

對所述語音特征參數(shù)進(jìn)行降維變換得到待處理語音特征信號(hào)；

根據(jù)語音增強(qiáng)算法對所述待處理語音特征信號(hào)進(jìn)行增強(qiáng)處理得到所述語音特征信號(hào)，所述語音增強(qiáng)算法包括倒頻譜均值減法算法；

所述對所述包含唇部的圖像信號(hào)進(jìn)行特征提取生成唇語特征信號(hào)，包括：

根據(jù)唇部特征提取算法對所述包含唇部的圖像信號(hào)進(jìn)行特征提取得到唇部圖像信號(hào)，所述唇部特征提取算法包括基于模板的特征提取算法或基于圖像像素的特征提取算法中的至少一種；

根據(jù)口型輪廓特征提取算法對所述唇部圖像信號(hào)進(jìn)行口型輪廓特征提取得到所述唇語特征信號(hào)，所述口型輪廓特征提取算法包括變形模板算法或Snakes算法中的至少一種。

第二方面，本發(fā)明實(shí)施例還提供了一種語音識(shí)別方法，該方法包括：

接收終端發(fā)送的語音特征信號(hào)和唇語特征信號(hào)；

對所述語音特征信號(hào)與預(yù)設(shè)語音信號(hào)進(jìn)行匹配分析生成語音識(shí)別結(jié)果；

對所述唇語特征信號(hào)與預(yù)設(shè)唇語信號(hào)進(jìn)行匹配分析生成唇語識(shí)別結(jié)果；