[發(fā)明專利]音頻事件的檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010693055.0
• 申請(qǐng)日: 2020-07-17
• 公開（公告）號(hào): CN111899760A
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 王俊;王曉瑞;李巖
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G10L25/18
• 分類號(hào): G10L25/18;G10L25/12;G10L25/30;G10L25/45
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 仝麗

1.一種音頻事件的檢測(cè)方法，其特征在于，包括：

獲取待識(shí)別的音頻數(shù)據(jù)對(duì)應(yīng)的音頻特征；

根據(jù)所述音頻特征的頻域信息，對(duì)所述音頻特征進(jìn)行劃分，生成多個(gè)子頻帶特征；

對(duì)所述多個(gè)子頻帶特征分別進(jìn)行特征提取，得到多個(gè)子頻帶目標(biāo)特征；

根據(jù)所述多個(gè)子頻帶目標(biāo)特征，得到所述音頻數(shù)據(jù)中每個(gè)音頻事件的類別檢測(cè)結(jié)果和時(shí)間檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的音頻事件的檢測(cè)方法，其特征在于，所述對(duì)所述多個(gè)子頻帶特征分別進(jìn)行特征提取，得到多個(gè)子頻帶目標(biāo)特征，包括：

將所述多個(gè)子頻帶特征輸入至第一神經(jīng)網(wǎng)絡(luò)，得到所述多個(gè)子頻帶目標(biāo)特征，所述第一神經(jīng)網(wǎng)絡(luò)包括多個(gè)子頻帶網(wǎng)絡(luò)，每個(gè)子頻帶網(wǎng)絡(luò)與一個(gè)子頻帶特征對(duì)應(yīng)。

3.根據(jù)權(quán)利要求2所述的音頻事件的檢測(cè)方法，其特征在于，所述子頻帶網(wǎng)絡(luò)包括多個(gè)依次連接的局部注意力塊；所述將所述多個(gè)子頻帶特征輸入至第一神經(jīng)網(wǎng)絡(luò)，得到所述多個(gè)子頻帶目標(biāo)特征，包括：

對(duì)每個(gè)子頻帶特征，將所述每個(gè)子頻帶特征輸入至與所述每個(gè)子頻帶特征對(duì)應(yīng)的子頻帶網(wǎng)絡(luò)中的第一個(gè)局部注意力塊，得到子頻帶中間特征；

將所述子頻帶中間特征依次輸入至下一個(gè)局部注意力塊，直至輸出所述每個(gè)子頻帶特征對(duì)應(yīng)的子頻帶目標(biāo)特征。

4.根據(jù)權(quán)利要求1所述的音頻事件的檢測(cè)方法，其特征在于，所述根據(jù)所述多個(gè)子頻帶目標(biāo)特征，得到所述音頻數(shù)據(jù)中每個(gè)音頻事件的類別檢測(cè)結(jié)果和時(shí)間檢測(cè)結(jié)果，包括：

融合所述多個(gè)子頻帶目標(biāo)特征，生成所述音頻數(shù)據(jù)對(duì)應(yīng)的音頻融合特征；

將所述音頻融合特征輸入至第二神經(jīng)網(wǎng)絡(luò)，得到所述音頻數(shù)據(jù)對(duì)應(yīng)的音頻目標(biāo)特征；

根據(jù)所述音頻目標(biāo)特征，確定所述音頻數(shù)據(jù)中每個(gè)音頻事件的類別檢測(cè)結(jié)果和時(shí)間檢測(cè)結(jié)果。

5.根據(jù)權(quán)利要求4所述的音頻事件的檢測(cè)方法，其特征在于，所述融合所述多個(gè)子頻帶目標(biāo)特征，生成所述音頻數(shù)據(jù)對(duì)應(yīng)的音頻融合特征，包括：

根據(jù)所述頻域信息，拼接所述多個(gè)子頻帶目標(biāo)特征；

對(duì)拼接后的子頻帶目標(biāo)特征進(jìn)行卷積和池化處理，得到所述音頻融合特征。

6.根據(jù)權(quán)利要求4所述的音頻事件的檢測(cè)方法，其特征在于，所述第二神經(jīng)網(wǎng)絡(luò)包括兩個(gè)第二子神經(jīng)網(wǎng)絡(luò)，所述兩個(gè)第二子神經(jīng)網(wǎng)絡(luò)包含不同的激活函數(shù)；所述將所述音頻融合特征輸入至第二神經(jīng)網(wǎng)絡(luò)，得到所述音頻數(shù)據(jù)對(duì)應(yīng)的音頻目標(biāo)特征，包括：

將所述音頻融合特征輸入至每個(gè)第二子神經(jīng)網(wǎng)絡(luò)，得到所述每個(gè)第二子神經(jīng)網(wǎng)絡(luò)輸出的音頻中間特征；

根據(jù)所述頻域信息，拼接所述每個(gè)第二子神經(jīng)網(wǎng)絡(luò)分別輸出的音頻中間特征，得到所述音頻目標(biāo)特征。

7.根據(jù)權(quán)利要求1～6任一項(xiàng)所述的音頻事件的檢測(cè)方法，其特征在于，所述時(shí)間檢測(cè)結(jié)果包括每個(gè)音頻事件的起始幀數(shù)和結(jié)束幀數(shù)；所述獲取所述音頻數(shù)據(jù)中每個(gè)音頻事件的類別檢測(cè)結(jié)果和時(shí)間檢測(cè)結(jié)果之后，還包括：

獲取每幀音頻數(shù)據(jù)對(duì)應(yīng)的時(shí)間長度；

根據(jù)所述每幀音頻數(shù)據(jù)對(duì)應(yīng)的時(shí)間長度，以及所述每個(gè)音頻事件的起始幀數(shù)和結(jié)束幀數(shù)，生成每個(gè)音頻事件對(duì)應(yīng)的起始時(shí)間和結(jié)束時(shí)間。

8.一種音頻事件的檢測(cè)裝置，其特征在于，包括：

音頻特征獲取模塊，被配置為執(zhí)行獲取待識(shí)別的音頻數(shù)據(jù)對(duì)應(yīng)的音頻特征；

子頻帶特征生成模塊，被配置為執(zhí)行根據(jù)所述音頻特征的頻域信息，對(duì)所述音頻特征進(jìn)行劃分，生成多個(gè)子頻帶特征；

第一特征生成模塊，被配置為執(zhí)行對(duì)所述多個(gè)子頻帶特征分別進(jìn)行特征提取，得到多個(gè)子頻帶目標(biāo)特征；

檢測(cè)結(jié)果生成模塊，被配置為執(zhí)行根據(jù)所述多個(gè)子頻帶目標(biāo)特征，得到所述音頻數(shù)據(jù)中每個(gè)音頻事件的類別檢測(cè)結(jié)果和時(shí)間檢測(cè)結(jié)果。

9.一種電子設(shè)備，其特征在于，包括：

處理器；

用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器被配置為執(zhí)行所述指令，以實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的音頻事件的檢測(cè)方法。

10.一種存儲(chǔ)介質(zhì)，其特征在于，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時(shí)，使得電子設(shè)備能夠執(zhí)行如權(quán)利要求1至7中任一項(xiàng)所述的音頻事件的檢測(cè)方法。