[發明專利]一種基于拼音的雙階段解耦合中文語音識別模型

在審

• 申請號: 202210410441.3
• 申請日: 2022-04-19
• 公開（公告）號: CN114743544A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 陳力軍;劉佳;林華健;陳星宇;鄢偉
• 申請（專利權）人: 南京大學;江蘇圖客機器人有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16;G10L25/03
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華

本發明公開了一種基于拼音的雙階段解耦合中文語音識別模型，將語音識別過程分解為從語音到拼音，從拼音到漢字兩個步驟，獨立構建和訓練從語音到拼音的聲學模型和從拼音到漢字的語言模型：構建基于混合下采樣和多路徑交叉卷積模塊的全卷積聲學模型，進行從音頻Mel譜特征到拼音的識別；構建基于同音字建模方案的Transformer語言模型，進行從拼音到漢字的轉錄。聲學模型中，提出并采用混合下采樣和多路徑交叉卷積結構，大幅減少參數量，降低復雜度，節省訓練時間和計算資源開銷，提高了模型的泛化性能。語言模型中，采用同音字建模，將輸出特征維度從4000以上減至55，減少參數量，降低模型學習難度，提高轉錄準確率。

技術領域

本發明涉及一種中文語音識別模型，特別是一種基于拼音的雙階段解耦合中文語音識別模型。

背景技術

語音識別技術是一種將人的語音轉換為文本序列的技術。作為一種便捷的人機交互方式，語音識別技術已在各種交互式智能設備中得到了相當廣泛的應用，包括智能音箱、車載系統和問答機器人等。

傳統的語音識別架構中都包含聲學模型和語言模型，聲學模型負責把語音輸入轉換成聲學表示的輸出，語言模型負責從候選的字符序列中找出概率最大的字符串序列。端到端模型同時訓練聲學模型和語言模型，雖然簡化了訓練過程，但由于解碼器替代了傳統架構中的語言模型，訓練時又只能用成對的音頻文本數據，因此大大增加了對語音標注數據的需求。另外，端到端模型由于整合了聲學模型和語言模型，模型體積較大，對計算和內存提出了高要求。

發明內容

發明目的：本發明所要解決的技術問題是針對現有技術的不足，提供一種基于拼音的雙階段解耦合中文語音識別模型。

為了解決上述技術問題，本發明公開了一種基于拼音的雙階段解耦合中文語音識別模型，包括如下步驟：

步驟1，從中文語音數據集獲取音頻數據并進行預處理，得到語音數據訓練集、驗證集和測試集；構建基于拼音的雙階段解耦合中文語音識別模型，包括聲學模型和語言模型；

步驟2，對所得語音數據訓練集的Mel譜特征做動態數據增強，包括時間掩蔽和頻率掩蔽；

步驟3，將動態數據增強后的Mel譜特征送入聲學模型，進行聲學模型訓練，得到聯結時序分類(Connectionist Temporal Classification，CTC)損失，優化聲學模型參數；重復步驟2和步驟3所述的動態數據增強和聲學模型訓練過程，直到聲學模型收斂；

步驟4，進行聲學模型性能評估；

步驟5，從中文文本數據集獲取文本數據并進行預處理；

步驟6，根據步驟5中預處理后的文本數據建立拼音詞典、漢字詞典和同音字詞典，得到包括中文文本的文本數據訓練集；

步驟7，將所得文本數據訓練集中中文文本對應的拼音序列以及同音字序列送入語言模型，進行語言模型訓練，得到交叉熵損失，優化語言模型參數；重復步驟7所述的語言模型訓練過程，直到語言模型收斂；

步驟8，進行語言模型性能評估和基于拼音的雙階段解耦合中文語音識別模型的聯合評估。

本發明步驟1中所述數據預處理包括：

將所有音頻數據以統一的采樣率進行重采樣；對音頻數據進行預加重、分幀和加窗得到有重疊的分幀信號；對分幀信號進行短時傅里葉變換得到短時幅度譜；通過Mel濾波器組得到Mel譜特征數據；將所得Mel譜特征數據劃分為不相交的訓練集、驗證集和測試集。

本發明步驟2中對所得語音數據訓練集的Mel譜特征做動態數據增強過程中，對時間掩蔽和頻率掩蔽的掩蔽比例為隨機數。

本發明步驟3中，所述聲學模型由混合下采樣模塊、多路徑交叉卷積模塊和多層前饋神經網絡組成；