[發明專利]語音識別方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202110470112.3
• 申請日: 2021-04-28
• 公開（公告）號: CN113192492A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 王瑞璋;魏韜;馬駿;王少軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 張傳義

1.一種語音識別方法，其特征在于，所述方法包括：

獲取訓練數據，所述訓練數據包括標準普通話訓練數據和非標準普通話訓練數據；

將所述標準普通話訓練數據輸入主神經網絡進行訓練，獲得普通話聲學模型；

在所述普通話聲學模型中增加分支神經網絡,其中,所述分支神經網絡包括多個網絡層,每個所述網絡層的網絡層信息與所述主神經網絡中對應網絡層的網絡層信息一致；

將所述標準普通話訓練數據和所述非標準普通話訓練數據分別輸入包含所述分支神經網絡的所述普通話聲學模型進行多任務訓練,獲得多任務訓練后的所述普通話聲學模型；

對多任務訓練后的所述普通話聲學模型進行模型更新,生成初始聲學模型；

將所述訓練數據輸入所述初始聲學模型進行訓練，獲得對應的目標聲學模型；

獲取待識別的語音信息，將所述語音信息輸入至所述目標聲學模型中得到所述語音信息的語義信息，其中，所述語音信息包含標準普通話和/或非標準普通話。

2.根據權利要求1所述的語音識別方法，其特征在于，所述獲取訓練數據，包括：

采集標準普通話音頻數據和非標準普通話音頻數據；

將所述標準普通話音頻數據和所述非標準普通話音頻數據進行標注；

對標注的所述標準普通話音頻數據進行特征提取，獲得對應的所述標準普通話訓練數據，以及對標注的所述非標準普通話音頻數據進行特征提取，獲得對應的所述非標準普通話訓練數據。

3.根據權利要求1所述的語音識別方法，其特征在于，所述主神經網絡包括多個tdnnf層，所述多個tdnnf層中部分為底層共用tdnnf層，部分為上層非共用tdnnf層；

所述在所述普通話聲學模型中增加分支神經網絡，包括：

在所述主神經網絡的多個tdnnf層中最后一個底層共用tdnnf層之后增加所述分支神經網絡。

4.根據權利要求3所述的語音識別方法，其特征在于，所述主神經網絡還包括輸出層，所述分支神經網絡包括輸出層多個tdnnf層，所述分支神經網絡的每個tdnnf層的節點數與所述主神經網絡中對應tdnnf層的節點數相同，所述分支神經網絡的輸出層的節點數與所述主神經網絡的輸出層的節點數相同。

5.根據權利要求1至4任一項所述的語音識別方法，其特征在于，所述將所述標準普通話訓練數據和所述非標準普通話訓練數據分別輸入包含所述分支神經網絡的所述普通話聲學模型進行多任務訓練，包括：

將所述標準普通話訓練數據輸入所述普通話聲學模型進行訓練，對所述主神經網絡的多個網絡層的參數進行更新；

將所述非標準普通話訓練數據輸入所述普通話聲學模型進行訓練，對所述分支神經網絡的多個網絡層的參數進行更新。

6.根據權利要求4所述的語音識別方法，其特征在于，所述對多任務訓練后的所述普通話聲學模型進行模型更新,生成初始聲學模型，包括：

將所述主神經網絡的輸出層以及所述分支神經網絡移除；

增加attention層和新輸出層，獲得所述初始聲學模型，其中，所述主神經網絡的多個tdnnf層中最后一個tdnnf層的輸出作為所述attention層的輸入，所述attention層的輸出作為所述新輸出層的輸入。

7.根據權利要求6所述的語音識別方法，其特征在于，所述將所述訓練數據輸入所述初始聲學模型進行訓練，獲得對應的目標聲學模型，包括：

將所述標準普通話訓練數據和所述非標準普通話訓練數據混合，獲得混合數據；

對所述初始聲學模型的各網絡層的參數進行初始化，其中，所述初始聲學模型的各網絡層包括多個tdnnf層、所述attention層和所述新輸出層；

將所述混合數據輸入所述初始聲學模型進行迭代訓練，對所述初始聲學模型的所述各網絡層的參數進行更新，直至所述初始聲學模型收斂，獲得所述目標聲學模型。