[發(fā)明專利]一種基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910960088.4
• 申請(qǐng)日: 2019-10-10
• 公開（公告）號(hào): CN110782878B
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計(jì)）人: 張濤;梁晉華
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G10L15/04
• 分類號(hào): G10L15/04;G10L15/06;G10L15/16;G10L15/28;G06N3/04
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 杜文茹

1.一種基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法，其特征在于，包括如下步驟：

1）建立基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，用于準(zhǔn)確識(shí)別不同頻帶大小和不同持續(xù)時(shí)間的音頻場(chǎng)景；

所述的基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，包括有依次串聯(lián)的：用于提取所接收的對(duì)數(shù)梅爾圖的不同尺度的特征的由Xception模型構(gòu)成的特征提取模塊（1），用于對(duì)特征提取模塊（1）所提取的不同尺度特征進(jìn)行處理，得到表示不同尺度的特征向量的特征處理模塊（2），用于將表示不同尺度特征向量進(jìn)行融合及場(chǎng)景分類的注意力模塊（4），以及對(duì)特征提取模塊（1）輸出的最底層尺度特征進(jìn)行處理后輸出給注意力模塊（4）的權(quán)重分配模塊（3）；其中，所述的特征處理模塊（2），包括有：

第一橫向連接結(jié)構(gòu)（2.1），對(duì)所接收的上層尺度特征依次進(jìn)行1×1卷積處理、3×3卷積處理和全局池化處理后得到上層尺度特征向量，送入注意力模塊（4），并將1×1卷積處理的上層尺度特征信息送入第二橫向連接結(jié)構(gòu)（2.2）；

第二橫向連接結(jié)構(gòu)（2.2），分別對(duì)所接收的中層尺度特征進(jìn)行1×1卷積處理，以及對(duì)所接收的上層尺度特征信息進(jìn)行上采樣處理，再將1×1卷積處理的結(jié)果與上采樣處理的結(jié)果相加后的中層尺度特征信息進(jìn)行3×3卷積處理和全局池化處理后得到中層尺度特征向量，送入注意力模塊（4），并將所述的中層尺度特征信息送入第三橫向連接結(jié)構(gòu)（2.3）；

第三橫向連接結(jié)構(gòu)（2.3），分別對(duì)所接收的底層尺度特征進(jìn)行1×1卷積處理，以及對(duì)所接收的中層尺度特征信息進(jìn)行上采樣處理，再將1×1卷積處理的結(jié)果與上采樣處理的結(jié)果相加后的底層尺度特征信息進(jìn)行3×3卷積處理和全局池化處理后得到底層尺度特征向量，送入注意力模塊（4）；

2）將包含有不同場(chǎng)景類別的音頻文件和對(duì)應(yīng)的場(chǎng)景類別的訓(xùn)練集輸入基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

3）讀取音頻文件并進(jìn)行預(yù)處理，得到音頻信號(hào)片段；

4）從所述的音頻信號(hào)片段中提取對(duì)數(shù)梅爾圖；

5）將所述的對(duì)數(shù)梅爾圖輸入到訓(xùn)練后的基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型中，得到最終的場(chǎng)景類別。

2.根據(jù)權(quán)利要求1所述的一種基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法，其特征在于，所述的特征提取模塊（1）的第二、第三和第四池化層輸出的不同尺度特征分別送入特征處理模塊（2），所述的特征提取模塊（1）的第一池化層輸出的最底層尺度特征送入權(quán)重分配模塊（4）。

3.根據(jù)權(quán)利要求1所述的一種基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法，其特征在于，所述的權(quán)重分配模塊（3）包括依次進(jìn)行的：對(duì)最底層尺度特征進(jìn)行1×1卷積處理、3×3卷積處理、全局池化處理和全連接層處理，得到三個(gè)用于對(duì)不同尺度分配注意力的權(quán)重系數(shù)，并送入注意力模塊（4）。

4.根據(jù)權(quán)利要求1所述的一種基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法，其特征在于，所述的注意力模塊（4）包括將特征處理模塊（2）輸出的上層尺度特征向量、中層尺度特征向量和底層尺度特征向量利用權(quán)重分配模塊（3）輸出的三個(gè)權(quán)重系數(shù)進(jìn)行加權(quán)平均后，再依次進(jìn)行全連接層處理和分類處理得到最終的場(chǎng)景類別。

5.根據(jù)權(quán)利要求1所述的一種基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法，其特征在于，步驟3）所述的預(yù)處理是對(duì)輸入的信號(hào)進(jìn)行截?cái)嗵幚恚爻晒潭〞r(shí)長(zhǎng)10s的信號(hào)片段。

6.根據(jù)權(quán)利要求1所述的一種基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法，其特征在于，步驟4）包括：

（1）對(duì)輸入的音頻信號(hào)片段進(jìn)行分幀加窗；

（2）將得到的音頻幀通過梅爾濾波器組，計(jì)算音頻幀中的每個(gè)時(shí)間步范圍內(nèi)通過各梅爾濾波器的能量，將每個(gè)時(shí)間步范圍內(nèi)得到的所有通過梅爾濾波器的能量組成能量向量，將所有時(shí)間步范圍內(nèi)的能量向量合并，得到對(duì)應(yīng)音頻幀的二維梅爾圖；

（3）對(duì)所述的二維梅爾圖進(jìn)行對(duì)數(shù)處理，得到對(duì)數(shù)梅爾圖。