[發(fā)明專利]音頻檢測設(shè)備、方法、裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202210255295.1
• 申請日: 2022-03-16
• 公開（公告）號: CN114360526B
• 公開（公告）日: 2022-06-17
• 發(fā)明（設(shè)計）人: 鄭鑫江;艾國;楊作興;房汝明;向志宏
• 申請（專利權(quán)）人: 杭州研極微電子有限公司
• 主分類號: G10L15/16
• 分類號: G10L15/16;G06N3/04;G06N3/08
• 代理公司: 中國貿(mào)促會專利商標事務(wù)所有限公司 11038
• 代理人: 馮雯

1.一種音頻檢測方法，包括：

使原始音頻以音頻段為單位輸入到基于神經(jīng)網(wǎng)絡(luò)模型的音頻檢測設(shè)備的音頻編碼單元中，所述音頻編碼單元被配置為從接收的音頻段中提取并編碼音頻特征，

其中，所述音頻檢測設(shè)備的所述音頻編碼單元包括全局池化層，所述全局池化層提供所述音頻編碼單元的輸出端并耦接至所述音頻檢測設(shè)備的一個或多個音頻解碼單元，所述一個或多個音頻解碼單元中的每個音頻解碼單元被配置為執(zhí)行不同音頻檢測任務(wù)的解碼，以輸出相應(yīng)音頻檢測任務(wù)的預(yù)測結(jié)果，

并且其中，每個音頻段的被所述音頻編碼單元的緊接在所述全局池化層之前的壓縮模塊輸出的特征的維度為[1, C, 1, 1]，其中C表示所述壓縮模塊的通道數(shù)；以及

在所述壓縮模塊的輸出處進行輸出特征的緩存，當緩存到預(yù)設(shè)數(shù)量L個輸出特征時，將維度為[1, C, 1, L]的緩存輸出特征傳輸?shù)剿鋈殖鼗瘜右赃M行壓縮，并將所述全局池化層的維度為[1, C, 1, 1]的壓縮輸出提供至所述一個或多個音頻解碼單元中的每個音頻解碼單元進行解碼，以得到相應(yīng)音頻檢測任務(wù)的預(yù)測結(jié)果，其中C、L為正整數(shù)。

2.根據(jù)權(quán)利要求1所述的音頻檢測方法，其中，所述音頻檢測設(shè)備在訓(xùn)練期間所接收的訓(xùn)練音頻在被所述壓縮模塊輸出的特征的維度為[1, C, 1, D]，其中D為正整數(shù)，并且其中，L被設(shè)置為大于或等于D。

3.根據(jù)權(quán)利要求1或2所述的音頻檢測方法，還包括對于所述一個或多個音頻解碼單元中的每個音頻解碼單元：

第N次將維度為[1, C, 1, L]的緩存輸出特征傳輸?shù)剿鋈殖鼗瘜右赃M行壓縮，并將所述全局池化層的維度為[1, C, 1, 1]的壓縮輸出提供至該音頻解碼單元進行解碼以得到第N音頻片段關(guān)于相應(yīng)音頻檢測任務(wù)的第N預(yù)測結(jié)果，所述第N音頻片段由與第N次的所述維度為[1, C, 1, L]的緩存輸出特征對應(yīng)的L個音頻段組成；以及

第(N+1)次將重新組成的維度為[1, C, 1, L]的緩存輸出特征傳輸?shù)剿鋈殖鼗瘜右赃M行壓縮，并將所述全局池化層的維度為[1, C, 1, 1]的壓縮輸出提供至該音頻解碼單元進行解碼以得到第(N+1)音頻片段關(guān)于相應(yīng)音頻檢測任務(wù)的第(N+1)預(yù)測結(jié)果，所述第(N+1)音頻片段由與第(N+1)次的所述重新組成的維度為[1, C, 1, L]的緩存輸出特征對應(yīng)的L個音頻段組成，

其中N為正整數(shù)。

4.根據(jù)權(quán)利要求3所述的音頻檢測方法，還包括：在第N次將維度為[1, C, 1, L]的緩存輸出特征傳輸?shù)剿鋈殖鼗瘜右赃M行壓縮之后，當附加的y個音頻段輸入到所述音頻檢測設(shè)備以在所述壓縮模塊處新產(chǎn)生y個輸出特征時，將與第N次的所述維度為[1, C, 1,L]的緩存輸出特征對應(yīng)的L個輸出特征的前y個輸出特征丟棄，并將其剩下的(L-y)個輸出特征與新產(chǎn)生的y個輸出特征重新組成維度為[1, C, 1, L]的緩存輸出特征，以用于在第(N+1)次將重新組成的維度為[1, C, 1, L]的緩存輸出特征傳輸?shù)剿鋈殖鼗瘜右赃M行壓縮，

其中y、N為正整數(shù)并且yL。

5.根據(jù)權(quán)利要求3所述的音頻檢測方法，還包括：將每個音頻片段的預(yù)測結(jié)果與該音頻片段的前j個音頻片段的預(yù)測結(jié)果的求和平均值作為該音頻片段的處理后的預(yù)測結(jié)果，其中j為正整數(shù)。

6.根據(jù)權(quán)利要求3所述的音頻檢測方法，還包括：將每個音頻片段的預(yù)測結(jié)果與該音頻片段的前j個音頻片段的預(yù)測結(jié)果的加權(quán)求和平均值作為該音頻片段的處理后的預(yù)測結(jié)果，其中j為正整數(shù)，并且其中該音頻片段的前j個音頻片段中的每個音頻片段所分配到的權(quán)重基于其與該音頻片段的間隔，并且間隔越大則權(quán)重越小。

7.根據(jù)權(quán)利要求5或6所述的音頻檢測方法，還包括：當在該音頻片段之前的音頻片段的數(shù)量小于j時，直接將該音頻片段的預(yù)測結(jié)果作為該音頻片段的最終預(yù)測結(jié)果。