[發(fā)明專利]一種語音糾正融合方法

有效

• 申請?zhí)枺?/td>: 202010947107.2
• 申請日: 2020-09-10
• 公開（公告）號: CN112037788B
• 公開（公告）日: 2021-08-24
• 發(fā)明（設計）人: 許召輝;馬翼平;徐淑波;陳年生;范光宇;饒蕾;孫焜;朱羿孜
• 申請（專利權）人: 中航華東光電（上海）有限公司
• 主分類號: G10L15/25
• 分類號: G10L15/25;G10L15/26;G06F16/61;G06F16/71;G06K9/00
• 代理公司: 上海樂泓專利代理事務所(普通合伙) 31385
• 代理人: 張雪

本發(fā)明的一種語音糾正融合方法，同時采集發(fā)音者的聲音數據和視頻數據，對視頻數據中采集的嘴型進行標點預處理，用字母標注嘴唇內部的六個點位，對預處理之后的圖像進行測量并通過六個點位的位置計算嘴唇變化角度，將聲音數據與音頻數據庫進行對比得到語音識別結果，嘴唇變化角度與嘴型數據庫進行對比得到唇語識別結果；當語音識別結果和唇語識別結果匹配程度相同，則優(yōu)先選擇語音識別結果；當語音識別結果和唇語識別結果匹配程度不同，則優(yōu)先選擇唇語識別結果。在語音識別的基礎上，加入了唇語識別，可以有效的去除口音對語音識別的影響，采用圖像識別中的唇語識別來消除聲音的影響，通過嘴唇來識別發(fā)音者所講的話，更加準確。

技術領域

本發(fā)明屬于語音識別技術領域，具體來說是一種語音糾正融合方法。

背景技術

語音識別技術隨著計算機和相關軟硬件技術的發(fā)展，已越來越多的應用在各個領域，其識別率也在不斷的提高。在環(huán)境安靜、發(fā)音標準等特定條件下，目前應用在語音識別輸入文字系統(tǒng)的識別率已經達到95％以上。但如果在車上或外界噪聲干擾比較大、發(fā)音不標準的情況下，其識別率將大打折扣，以至于無法達到實用目的。若能采用其它方法來輔助判斷以提高其語音識別的準確率，那么語音識別的實用性將顯著提高。

人類的語言認知過程是一個多通道的感知過程。在人與人日常交流的過程中，通過聲音來感知他人講話的內容，在喧鬧的環(huán)境或對方發(fā)音模糊不清時，還需要眼睛觀察其口型，表情等的變化，才能準確地理解對方所講的內容。現行的語音識別系統(tǒng)忽略了語言感知的視覺特性這一面，僅僅利用了單一的聽覺特性，使得現有的語音識別系統(tǒng)在噪聲環(huán)境或多話者條件下，其識別率都顯著下降，降低了語音識別的實用性，應用范圍也受限制。

發(fā)明內容

1.發(fā)明要解決的技術問題

本發(fā)明的目的在于解決現有的語音識別技術識別不準確的問題。

2.技術方案

為達到上述目的，本發(fā)明提供的技術方案為：

本發(fā)明的一種語音糾正融合方法，同時采集發(fā)音者的聲音數據和視頻數據，對視頻數據中采集的嘴型進行標點預處理，用字母標注嘴唇內部的六個點位，對預處理之后的圖像進行測量并通過六個點位的位置計算嘴唇變化角度，將聲音數據與音頻數據庫進行對比得到語音識別結果，嘴唇變化角度與嘴型數據庫進行對比得到唇語識別結果；當語音識別結果和唇語識別結果匹配程度相同，則優(yōu)先選擇語音識別結果；當語音識別結果和唇語識別結果匹配程度不同，則優(yōu)先選擇唇語識別結果。

優(yōu)選的，所述六個點位分別為嘴唇內側兩邊嘴角處為A、F點，上嘴唇的處為B、G點，下嘴唇的處為C、H點。

優(yōu)選的，還選取點B、點G的連線中點為D、選取點C、點H連線中點為E，測量角∠CAF和角∠BAF的大小、線段AF的長度和線段DE的長度。

優(yōu)選的，計算評價函數判斷語音，具體評價函數為

Pre＝k*(p*Angle(a,b)+q*Line(LAF,LDE))；

其中，k、p、q為各代價函數的權重系數，p、q為0.5，k的取值為不同地理區(qū)域的發(fā)音系數的數值，Angle(a,b)為嘴唇夾角的代價子函數，Line(LAF,LDE)為嘴唇張開程度的代價子函數。

優(yōu)選的，在采集發(fā)音者的畫面時，發(fā)音者的臉部需正對攝像頭，攝像頭先拍攝人臉并識別后開始拍攝發(fā)音者嘴唇位置。

優(yōu)選的，在進行語音識別的過程中，需要在存儲數據庫中設置兩個臨時存儲區(qū)域，用于存儲音頻信息和視頻信息，兩個臨時存儲區(qū)域主要存儲音頻流以及時間戳，在30秒內無明顯音頻輸入則對兩塊區(qū)域進行保存再清空、或直接清空。