[發(fā)明專利]一種語音糾正融合方法

有效

• 申請?zhí)枺?/td>: 202010947107.2
• 申請日: 2020-09-10
• 公開（公告）號: CN112037788B
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計）人: 許召輝;馬翼平;徐淑波;陳年生;范光宇;饒蕾;孫焜;朱羿孜
• 申請（專利權(quán)）人: 中航華東光電（上海）有限公司
• 主分類號: G10L15/25
• 分類號: G10L15/25;G10L15/26;G06F16/61;G06F16/71;G06K9/00
• 代理公司: 上海樂泓專利代理事務(wù)所(普通合伙) 31385
• 代理人: 張雪

1.一種語音糾正融合方法，其特征在于：同時采集發(fā)音者的聲音數(shù)據(jù)和視頻數(shù)據(jù)，對視頻數(shù)據(jù)中采集的嘴型進行標點預(yù)處理，用字母標注嘴唇內(nèi)部的六個點位，對預(yù)處理之后的圖像進行測量并通過六個點位的位置計算嘴唇變化角度，將聲音數(shù)據(jù)與音頻數(shù)據(jù)庫進行對比得到語音識別結(jié)果，嘴唇變化角度與嘴型數(shù)據(jù)庫進行對比得到唇語識別結(jié)果；當(dāng)語音識別結(jié)果和唇語識別結(jié)果匹配程度相同，則優(yōu)先選擇語音識別結(jié)果；當(dāng)語音識別結(jié)果和唇語識別結(jié)果匹配程度不同，則優(yōu)先選擇唇語識別結(jié)果；所述六個點位分別為嘴唇內(nèi)側(cè)兩邊嘴角處為A、F點，上嘴唇的處為B、G點，下嘴唇的處為C、H點；還選取點B、點G的連線中點為D、選取點C、點H連線中點為E，測量角∠CAF和角∠BAF的大小、線段AF的長度和線段DE的長度；還包括計算評價函數(shù)判斷語音，具體評價函數(shù)為

Pre＝k*(p*Angle(a,b)+q*Line(LAF,LDE))；

其中，k、p、q為各代價函數(shù)的權(quán)重系數(shù)，p、q為0.5，k的取值為不同地理區(qū)域的發(fā)音系數(shù)的數(shù)值，Angle(a,b)為嘴唇夾角的代價子函數(shù)，Line(LAF,LDE)為嘴唇張開程度的代價子函數(shù)。

2.根據(jù)權(quán)利要求1所述的一種語音糾正融合方法，其特征在于：在采集發(fā)音者的畫面時，發(fā)音者的臉部需正對攝像頭，攝像頭先拍攝人臉并識別后開始拍攝發(fā)音者嘴唇位置。

3.根據(jù)權(quán)利要求1所述的一種語音糾正融合方法，其特征在于：在進行語音識別的過程中，需要在存儲數(shù)據(jù)庫中設(shè)置兩個臨時存儲區(qū)域，用于存儲音頻信息和視頻信息，兩個臨時存儲區(qū)域用于存儲音頻流以及時間戳，在30秒內(nèi)無明顯音頻輸入則對兩塊區(qū)域進行保存再清空、或直接清空。

4.根據(jù)權(quán)利要求3所述的一種語音糾正融合方法，其特征在于：語音識別前需要進行語音喚醒，具體為通過特定的語音關(guān)鍵詞進行喚醒，喚醒成功后開始進行語音接收和語音處理，對音頻信息進行去噪和特征點采集，然后將預(yù)處理之后的結(jié)果音頻與數(shù)據(jù)庫中的標準音頻進行匹配，并輸出匹配程度P1；對視頻信息為先進行人臉識別，再追蹤嘴唇部分，分幀提取10張圖進行比對，計算所得的10個Pre數(shù)值進行平均，求出結(jié)果Pra，將Pra與數(shù)據(jù)庫中的Pre值進行比對，篩選出對應(yīng)范圍內(nèi)的值，并輸出與數(shù)據(jù)庫的匹配程度P2，最后比較P1、P2大小，輸出對應(yīng)識別的結(jié)果。

5.根據(jù)權(quán)利要求3所述的一種語音糾正融合方法，其特征在于：所述音頻數(shù)據(jù)庫存儲有預(yù)先設(shè)置好的方言發(fā)音的嘴型數(shù)據(jù)。