[發(fā)明專利]一種音頻處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911402690.2
• 申請日: 2019-12-31
• 公開（公告）號(hào): CN111145765B
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 王運(yùn)俠
• 申請（專利權(quán)）人: 思必馳科技股份有限公司
• 主分類號(hào): G10L19/00
• 分類號(hào): G10L19/00;G06N3/04;G06N3/08
• 代理公司: 北京樂知新創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11734
• 代理人: 江宇

本申請公開了一種音頻處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，其中，所述方法包括：對實(shí)時(shí)輸入的音頻信息進(jìn)行切分，得到至少一個(gè)音頻段；對所述至少一個(gè)音頻段中每一個(gè)音頻段進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算，得到每一個(gè)音頻段所對應(yīng)的輸出，將所述每一個(gè)音頻段的輸出進(jìn)行合并得到輸出結(jié)果；其中，對所述至少一個(gè)音頻段中每一個(gè)音頻段進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算，得到每一個(gè)音頻段所對應(yīng)的輸出，包括：將所述每一個(gè)音頻段的序列開始、序列中間以及序列結(jié)束分別進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算，得到所述每一個(gè)音頻段所對應(yīng)的第一結(jié)果、第二結(jié)果以及第三結(jié)果；將每一個(gè)音頻段所對應(yīng)的所述第一結(jié)果、第二結(jié)果、第三結(jié)果合并，得到所述每一個(gè)音頻段所對應(yīng)的輸出。

技術(shù)領(lǐng)域

本申請涉及信息處理領(lǐng)域，尤其涉及一種音頻處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在相關(guān)技術(shù)中，進(jìn)行音頻信息處理，通常采用深度學(xué)習(xí)的方式，所述深度學(xué)習(xí)的方式中最常用的神經(jīng)網(wǎng)絡(luò)包括DNN(深度神經(jīng)網(wǎng)絡(luò))、CNN(卷積神經(jīng)網(wǎng)絡(luò))、RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))、DFSMN等等。其中，RNN循環(huán)神經(jīng)網(wǎng)絡(luò)中的長期信息，需在進(jìn)入當(dāng)前處理單元前順序遍歷所有單元。LSTM可以繞過單元從而記住更長的時(shí)間步驟，因此，LSTM可以消除一些梯度消失的問題。可以處理時(shí)間間隔和延遲較長的序列問題。LSTM和GRU是單向的，只依賴序列中當(dāng)前時(shí)刻之前的輸出狀態(tài)，BLSTM是雙向的，不僅依賴當(dāng)前時(shí)刻之前的輸出狀態(tài)還依賴后面時(shí)刻的輸出狀態(tài)。DFSMN是一種新型的網(wǎng)絡(luò)結(jié)構(gòu)，它可以取得相比于目前最流行的基于長短時(shí)記憶單元的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(BLSTM)的識(shí)別系統(tǒng)顯著的性能提升。而且DFSMN在訓(xùn)練速度，模型參數(shù)量，解碼速度及模型的推理延時(shí)上相比于BLSTM都具有明顯的優(yōu)勢。

然而上述相關(guān)技術(shù)中的處理方式中，尤其是DFSMN、BLSMN這些雙向結(jié)構(gòu)的網(wǎng)絡(luò)，由于訓(xùn)練較慢，模型參數(shù)量大，解碼速度受到硬件設(shè)備制約，且計(jì)算量大導(dǎo)致的推理延時(shí)等問題，使得這類網(wǎng)絡(luò)對其應(yīng)用場景有很大的限制，無法提供在線語音實(shí)時(shí)處理。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N音頻處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中存在的上述問題。

本發(fā)明一方面提供一種音頻處理方法，所述方法包括：

對實(shí)時(shí)輸入的音頻信息進(jìn)行切分，得到至少一個(gè)音頻段；

對所述至少一個(gè)音頻段中每一個(gè)音頻段進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算，得到每一個(gè)音頻段所對應(yīng)的輸出，將所述每一個(gè)音頻段的輸出進(jìn)行合并得到輸出結(jié)果；

其中，對所述至少一個(gè)音頻段中每一個(gè)音頻段進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算，得到每一個(gè)音頻段所對應(yīng)的輸出，包括：

將所述每一個(gè)音頻段的序列開始、序列中間以及序列結(jié)束分別進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算，得到所述每一個(gè)音頻段所對應(yīng)的第一結(jié)果、第二結(jié)果以及第三結(jié)果；

將每一個(gè)音頻段所對應(yīng)的所述第一結(jié)果、第二結(jié)果、第三結(jié)果合并，得到所述每一個(gè)音頻段所對應(yīng)的輸出。

本發(fā)明一方面提供一種音頻處理裝置，所述裝置包括：

音頻劃分單元，用于對實(shí)時(shí)輸入的音頻信息進(jìn)行切分，得到至少一個(gè)音頻段；

音頻處理單元，用于對所述至少一個(gè)音頻段中每一個(gè)音頻段進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算，得到每一個(gè)音頻段所對應(yīng)的輸出，將所述每一個(gè)音頻段的輸出進(jìn)行合并得到輸出結(jié)果；

其中，所述音頻處理單元，具體用于將所述每一個(gè)音頻段的序列開始、序列中間以及序列結(jié)束分別進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算，得到所述每一個(gè)音頻段所對應(yīng)的第一結(jié)果、第二結(jié)果以及第三結(jié)果；將每一個(gè)音頻段所對應(yīng)的所述第一結(jié)果、第二結(jié)果、第三結(jié)果合并，得到所述每一個(gè)音頻段所對應(yīng)的輸出。

本發(fā)明另一方面提供一種電子設(shè)備，其特征在于，包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，