[發(fā)明專利]語音識別方法及裝置

在審

• 申請?zhí)枺?/td>: 202010027674.6
• 申請日: 2020-01-10
• 公開（公告）號: CN113192495A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設計）人: 曹秀亭
• 申請（專利權(quán)）人: 普天信息技術(shù)有限公司
• 主分類號: G10L15/14
• 分類號: G10L15/14;G10L15/18;G10L25/18;G10L25/24;G10L25/30;G10L15/02
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩

1.一種語音識別方法，其特征在于，包括：

獲取待識別語音數(shù)據(jù)的頻譜圖；

將所述待識別語音數(shù)據(jù)的頻譜圖輸入至語音識別模型，輸出所述待識別語音數(shù)據(jù)對應的文字識別結(jié)果；

其中，所述語音識別模型是基于語音樣本以及預先確定的語音樣本對應的文字，采用二次訓練的方式進行訓練后得到。

2.根據(jù)權(quán)利要求1所述的語音識別方法，其特征在于，將所述待識別語音數(shù)據(jù)的頻譜圖輸入至語音識別模型，輸出所述待識別語音數(shù)據(jù)對應的文字識別結(jié)果，具體包括：

將所述待識別語音數(shù)據(jù)的頻譜圖輸入至所述語音識別模型中的卷積神經(jīng)網(wǎng)絡，輸出語音特征；

將所述語音特征輸入至所述語音識別模型中的雙向殘差長短時記憶網(wǎng)絡，輸出語義信息；

將所述語義信息輸入至所述語音識別模型中的解碼器，輸出所述文字識別結(jié)果。

3.根據(jù)權(quán)利要求1所述的語音識別方法，其特征在于，對所述語音識別模型進行訓練的具體步驟如下：

將所述語音樣本的頻譜圖輸入至所述語音識別模型中的卷積神經(jīng)網(wǎng)絡，輸出樣本語音特征；

將所述樣本語音特征輸入至所述語音識別模型中的雙向殘差長短時記憶網(wǎng)絡，輸出樣本語義信息；

將所述樣本語義信息輸入至全連接神經(jīng)網(wǎng)絡，輸出樣本預測文字；

將所述樣本預測文字輸入至Softmax回歸模型，輸出歸一化后的樣本預測文字；

將歸一化后的樣本預測文字輸入至集束搜索算法模型，輸出負樣本；

根據(jù)所述負樣本對所述語音識別模型進行二次訓練，確定所述語音識別模型的參數(shù)。

4.根據(jù)權(quán)利要求3所述的語音識別方法，其特征在于，將所述樣本語音特征輸入至所述語音識別模型中的雙向殘差長短時記憶網(wǎng)絡，輸出樣本語義信息，具體包括：

將所述樣本語音特征輸入至雙向長短時記憶網(wǎng)絡，輸出前后向的隱藏語義信息，同時，對所述樣本語音特征進行正則化，得到歸一化樣本語音特征；

將所述隱藏語義信息和所述歸一化樣本語音特征進行合并，得到所述樣本語義信息。

5.根據(jù)權(quán)利要求3所述的語音識別方法，其特征在于，根據(jù)所述負樣本對所述語音識別模型進行二次訓練，確定所述語音識別模型的參數(shù)，具體包括：

將所述負樣本輸入至二次訓練的卷積神經(jīng)網(wǎng)絡，輸出負樣本語音特征；

將所述負樣本語音特征輸入至二次訓練的雙向殘差長短時記憶網(wǎng)絡，輸出負樣本語義信息；

將所述負樣本語義信息輸入至連接者時間分類模型，輸出連接者時間分類損失；

根據(jù)所述連接者時間分類損失，利用反向傳播算法確定所述語音識別模型的參數(shù)。

6.根據(jù)權(quán)利要求5所述的語音識別方法，其特征在于，將所述負樣本語義信息輸入至連接者時間分類模型，輸出連接者時間分類損失，具體包括：

將所述負樣本語義信息輸入至全連接神經(jīng)網(wǎng)絡，輸出負樣本預測文字；

將所述負樣本預測文字輸入至Softmax回歸模型，輸出歸一化后的負樣本預測文字；

將歸一化后的負樣本預測文字輸入至連接者時間分類損失函數(shù)模型，輸出所述連接者時間分類損失。

7.根據(jù)權(quán)利要求5所述的語音識別方法，其特征在于，所述語音識別模型中的卷積神經(jīng)網(wǎng)絡為兩層卷積神經(jīng)網(wǎng)絡，所述語音識別模型中的雙向殘差長短時記憶網(wǎng)絡為兩層雙向殘差長短時記憶網(wǎng)絡；

二次訓練的卷積神經(jīng)網(wǎng)絡為兩層卷積神經(jīng)網(wǎng)絡，二次訓練的雙向殘差長短時記憶網(wǎng)絡為七層雙向殘差長短時記憶網(wǎng)絡。

8.一種語音識別的裝置，其特征在于，包括：

獲取模塊，用于獲取待識別語音數(shù)據(jù)的頻譜圖；

識別模塊，用于將所述待識別語音數(shù)據(jù)的頻譜圖輸入至語音識別模型，輸出所述待識別語音數(shù)據(jù)對應的文字識別結(jié)果；

其中，所述語音識別模型是基于語音樣本以及預先確定的語音樣本對應的文字，采用二次訓練的方式進行訓練后得到。