[發明專利]一種全端到端的中英文混合空管語音識別方法及裝置

有效

• 申請號: 202011147669.5
• 申請日: 2020-10-23
• 公開（公告）號: CN112420024B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 林毅;楊波;張建偉
• 申請（專利權）人: 四川大學
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L15/00;G10L15/20;G10L19/04;G10L25/30
• 代理公司: 四川力久律師事務所 51221
• 代理人: 馮精恒

1.一種全端到端的中英文混合空管語音識別方法，其特征在于，包括以下步驟：

a：采集空管語音并對所述空管語音進行預處理；其中，所述空管語音為中英文混合的音頻數據；

b：將所述空管語音輸入到預先建立的中英文混合空管語音識別模型；

c：輸出所述空管語音對應的指令信息；

所述中英文混合空管語音識別模型包括特征學習模塊、語音識別模塊以及中英文指令詞匯庫；所述特征學習模塊用于預先提取空管語音的語音特征，所述語音識別模塊用于將提取的語音特征轉換為計算機可讀的指令文本信息；所述中英文指令詞匯庫的訓練過程包括：

針對中文語音，以中文漢字作為其標注詞匯單元；

針對英文語音，采用BPE算法學習生成標注詞匯單元；

將得到的英文詞匯庫與中文漢字庫合并，得到最終的中英文指令詞匯庫；

其中，所述英文詞匯庫的學習優化包括以下步驟：

1)輸入標注樣本，獲取英文子詞單元；

2)獲取英文子詞單元數量、所述英文子詞單元的發音匹配程度以及所述標注樣本的詞匯平衡度；所述詞匯平衡度是將所述標注樣本中的英文單詞標注轉換為英文子詞單元序列后，所獲取的各英文子詞單元的出現頻次；

3)采用BPE算法對優化目標函數進行優化，提高優化目標函數值；

所述優化目標函數為：

其中，a_i為不同優化目標的權重參數，代表不同的優化目標函數，表示輸出的子詞單元數量，V_bpe和V分別代表輸出的子詞庫數量和輸入英文單詞的數量；代表不同詞匯出現頻次的平衡程度，η_i和η_max分別代表詞匯出現的頻次和最大頻次；衡量輸出詞庫中的單音節發音詞的數量V_s，用來表示其發音與中文發音的匹配程度。

2.根據權利要求1所述的一種全端到端的中英文混合空管語音識別方法，其特征在于，所述中英文混合空管語音識別模型的搭建包括以下步驟：

S1：輸入語音訓練樣本，并對其進行預處理，獲取未標注的原始語音信號以及分割標注后的單個語音信號；

S2：構建基于卷積神經網絡、循環神經網絡和全連接層的特征學習模塊，使用所述未標注的原始語音信號，采用自監督學習的方式訓練所述特征學習模塊直至模型誤差穩定，用于從所述未標注的原始語音信號中提取語音特征；

S3：構建基于循環神經網絡和全連接層的語音識別模塊，使用所述語音特征，采用有監督學習的方式訓練所述語音識別模塊直至模型誤差穩定，并與所述特征學習模塊級聯，得到中英文混合空管語音識別模型；

S4：使用所述分割標注后的單個語音信號和對應的指令文本數據訓練所述中英文混合空管語音識別模型，降低模型誤差，并輸出所述中英文混合空管語音識別模型。

3.根據權利要求2所述的一種全端到端的中英文混合空管語音識別方法，其特征在于，所述特征學習模塊包括隱空間特征編碼器以及上下文特征解碼器，用于以自監督的方式從未標注原始語音中學習魯棒性的語音特征；

其中，所述隱空間特征編碼器用于獲取語音幀級別的語音特征，所述上下文特征解碼器用于根據語音信號的上下文相關性獲取語音信號的上下文序列語音特征。

4.根據權利要求3所述的一種全端到端的中英文混合空管語音識別方法，其特征在于，所述隱空間特征編碼器和所述上下文特征解碼器的主干網絡包括卷積神經網絡單元、長短時記憶單元和全連接預測單元；

所述卷積神經網絡單元用于從所述原始語音信號中獲取語音特征，學習具有鑒別性的音頻特征并丟棄干擾性的語音特征，以及進行數據壓縮；

所述長短時記憶單元用于從所述原始語音信號中獲取時序特征，并建立語音信號、語音特征以及指令文本之間的映射關系；

所述全連接預測單元用于根據所述時序特征，預測后續語音信號的語音特征，完成所述特征學習模塊的自監督訓練。