[發明專利]一種音頻的處理方法、裝置以及存儲介質

在審

• 申請號: 202210189514.0
• 申請日: 2022-02-28
• 公開（公告）號: CN114582332A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 羅藝;李凱
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10L15/16
• 分類號: G10L15/16;G06N3/04;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 聶秀娜

1.一種音頻的處理方法，其特征在于，包括：

獲取待識別音頻；

響應于針對所述待識別音頻的識別模式對所述待識別音頻進行識別；

若所述識別模型為流式識別，則提取循環神經網絡中的前向分支，所述前向分支包括前向模型和第一全連接層；

將所述待識別音頻輸入所述循環神經網絡，以基于所述前向模型提取所述待識別音頻對應的實時音頻幀中的前向特征信息，并通過所述第一全連接層對所述前向特征信息進行全連接得到全連接信息，以基于所述全連接信息解析得到流式識別結果。

2.根據權利要求1所述的方法，其特征在于，所述循環神經網絡包括所述前向分支和后向分支，所述后向分支包括后向模型和第二全連接層，所述方法還包括：

若所述識別模型為非流式識別，則將所述待識別音頻輸入所述前向分支中的所述前向模型，以得到對應的前向特征信息；

將所述待識別音頻輸入所述循環神經網絡中的所述后向分支中的所述后向模型，以得到對應的后向特征信息；

將所述前向特征信息與所述后向特征信息進行拼接，以得到第一拼接信息；

將所述第一拼接信息輸入所述第二全連接層，以基于所述目標特征信息確定非流式識別結果。

3.根據權利要求1所述的方法，其特征在于，所述后向分支用于進行與所述前向分支相同方向的特征提取，所述方法還包括：

若所述識別模型為流式識別，則將所述待識別音頻分別輸入所述前向分支和所述后向分支；

將所述前向分支和所述后向分支輸出的特征信息進行拼接，以得到第二拼接信息；

基于所述第二拼接信息進行流式識別。

4.根據權利要求3所述的方法，其特征在于，所述后向分支還包括時序反向模塊，所述方法還包括：

若所述識別模型為非流式識別，則將所述待識別音頻輸入輸入所述循環神經網絡中的所述前向分支，以得到前向特征信息；

將所述待識別音頻輸入所述時序反向模塊，以得到反向音頻；

將所述反向音頻輸入所述后向分支中的后向模型，以得到后向特征信息；

對所述后向特征信息進行反向操作后，將所述前向特征信息與反向操作后的所述后向特征信息進行拼接，以得到第三拼接信息；

將所述第三拼接信息輸入第三全連接層，以基于所述第三拼接信息確定非流式識別結果，所述第三全連接層為所述前向分支與所述后向分支共享。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述循環神經網絡還包括歸一化層和殘差連接層，所述方法還包括：

將第一全連接層和第二全連接層或第三全連接層輸入的全連接信息輸入所述歸一化層，以得到歸一化信息；

將所述歸一化信息輸入所述殘差連接層進行參數優化，以得到優化信息；

基于所述優化信息進行音頻識別。

6.根據權利要求1-4任一項所述的方法，其特征在于，所述方法還包括：

獲取預設非流式模型；

對所述預設非流式模型進行訓練，以得到非流式參數；

將所述非流式參數作為流式模型的模型參數，以進行流式識別。

7.一種音頻的處理裝置，其特征在于，包括：

獲取單元，用于獲取待識別音頻；

確定單元，用于響應于針對所述待識別音頻的識別模式對所述待識別音頻進行識別；

處理單元，用于若所述識別模型為流式識別，則提取循環神經網絡中的前向分支，所述前向分支包括前向模型和第一全連接層；

所述處理單元，還用于將所述待識別音頻輸入所述循環神經網絡，以基于所述前向模型提取所述待識別音頻對應的實時音頻幀中的前向特征信息，并通過所述第一全連接層對所述前向特征信息進行全連接得到全連接信息，以基于所述全連接信息解析得到流式識別結果。

8.一種計算機設備，其特征在于，所述計算機設備包括處理器以及存儲器：

所述存儲器用于存儲程序代碼；所述處理器用于根據所述程序代碼中的指令執行權利要求1至6任一項所述的音頻的處理方法。