[發明專利]語音識別神經網絡模型及其訓練方法、語音識別方法

有效

• 申請號: 202110264825.4
• 申請日: 2021-03-11
• 公開（公告）號: CN112687263B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 司馬華鵬;吳海娥;湯毅平
• 申請（專利權）人: 南京硅基智能科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16;G10L15/26
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 闞夢詩

1.一種語音識別神經網絡模型，其特征在于，所述模型至少包括神經網絡濾波器、神經網絡編碼器、激活函數輸出層；

所述神經網絡濾波器包括可參數化的帶通濾波器，所述可參數化的帶通濾波器是對卷積帶通濾波器的訓練參數進行訓練后得到的，所述可參數化的帶通濾波器配置為，對目標音頻信號進行特征提取，以輸出所述目標音頻信號的第一特征向量，其中，所述第一特征向量為所述目標音頻信號的局部特征向量；

所述神經網絡編碼器配置為，輸入所述第一特征向量，對所述第一特征向量進行深度學習后輸出所述目標音頻信號的第二特征向量，其中，所述第二特征向量為所述目標音頻信號的局部特征向量，所述第二特征向量對應于所述神經網絡編碼器識別后的文本向量；

所述激活函數輸出層配置為，輸入所述第二特征向量，并至少根據所述第二特征向量輸出所述目標音頻信號對應的目標文本；

其中，所述神經網絡編碼器包括：依次連接的數據增強層、卷積子采樣層、線性層、篩選輸出層、識別模塊層；

所述數據增強層配置為，接收所述第一特征向量的輸入，對所述第一特征向量進行增強處理；

所述卷積子采樣層配置為，對所述數據增強層輸出的特征向量進行降維處理；

所述線性層配置為，將所述卷積子采樣層輸出的特征向量轉換為與所述識別模塊層匹配的維度；

所述篩選輸出層配置為，對所述線性層輸出的特征向量進行篩選；

所述識別模塊層配置為，將所述篩選輸出層輸出的特征向量轉換為所述目標音頻信號的第二特征向量。

2.根據權利要求1所述的語音識別神經網絡模型，其特征在于，所述卷積帶通濾波器的訓練參數至少包括：所述卷積帶通濾波器的低截止頻率和高截止頻率。

3.根據權利要求1所述的語音識別神經網絡模型，其特征在于，所述識別模塊層包括：

依次連接的第一前饋模塊、多頭注意力模塊、卷積模塊和第二前饋模塊，其中，所述第一前饋模塊、所述多頭注意力模塊、所述卷積模塊和所述第二前饋模塊上分別設置殘差單元。

4.一種語音識別神經網絡模型的訓練方法，其特征在于，應用于權利要求1至3任一項所述的語音識別神經網絡模型；所述方法包括：

獲取訓練數據，其中，所述訓練數據包括第一音頻信號以及對應的第一標注文本；

構建包含神經網絡濾波器、神經網絡編碼器、激活函數輸出層的初始神經網絡模型，其中，所述神經網絡濾波器包括可參數化的帶通濾波器，所述可參數化的帶通濾波器是對卷積帶通濾波器的訓練參數進行訓練后得到的；

使用所述訓練數據訓練所述初始神經網絡模型的訓練參數，并通過損失函數在訓練過程中優化所述初始神經網絡模型，得到目標神經網絡模型。

5.根據權利要求4所述的方法，其特征在于，所述使用所述訓練數據訓練所述初始神經網絡模型的訓練參數，并通過損失函數在訓練過程中優化所述初始神經網絡模型，包括：

設定所述初始神經網絡模型的訓練參數的初始值，其中，所述初始神經網絡模型的訓練參數包括：所述卷積帶通濾波器的訓練參數以及所述神經網絡編碼器的訓練參數，所述卷積帶通濾波器的訓練參數至少包括：所述卷積帶通濾波器的低截止頻率和高截止頻率；

將所述第一音頻信號輸入所述卷積帶通濾波器，經過所述神經網絡編碼器，通過所述激活函數輸出層輸出第一預測文本；

使用所述損失函數計算所述第一預測文本和所述第一標注文本的差值，以確定所述初始神經網絡模型的第一損失值；

確定所述第一損失值相對于所述初始神經網絡模型的訓練參數的第一梯度，并將所述初始神經網絡模型的訓練參數沿所述第一梯度進行反向調整；

通過迭代處理對所述初始神經網絡模型的訓練參數進行多次反向調整，直至所述初始神經網絡模型的損失值小于預設閾值，得到所述目標神經網絡模型。

6.根據權利要求4所述的方法，其特征在于，所述方法還包括：

使用窗函數對所述卷積帶通濾波器進行加窗處理，其中，所述窗函數包括以下之一：Hann函數、Balckman函數、Kaiser函數。