[發(fā)明專利]一種基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910960088.4
• 申請(qǐng)日: 2019-10-10
• 公開（公告）號(hào): CN110782878B
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計(jì)）人: 張濤;梁晉華
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G10L15/04
• 分類號(hào): G10L15/04;G10L15/06;G10L15/16;G10L15/28;G06N3/04
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 杜文茹

一種基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法：建立基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，用于準(zhǔn)確識(shí)別不同頻帶大小和不同持續(xù)時(shí)間的音頻場(chǎng)景；將包含有不同場(chǎng)景類別的音頻文件和對(duì)應(yīng)的場(chǎng)景類別的訓(xùn)練集輸入基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；讀取音頻文件并進(jìn)行預(yù)處理，得到音頻信號(hào)片段；從音頻信號(hào)片段中提取對(duì)數(shù)梅爾圖；將對(duì)數(shù)梅爾圖輸入到訓(xùn)練后的基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型中，得到最終的場(chǎng)景類別。本發(fā)明對(duì)頻帶范圍和持續(xù)時(shí)間不同的多尺度聲音場(chǎng)景都有很好的識(shí)別準(zhǔn)確率,可以應(yīng)用到嵌入式等移動(dòng)設(shè)備中。

技術(shù)領(lǐng)域

本發(fā)明涉及一種音頻場(chǎng)景識(shí)別方法。特別是涉及一種基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法。

背景技術(shù)

音頻場(chǎng)景識(shí)別是讓機(jī)器通過(guò)處理一段已記錄的音頻文件或上傳的數(shù)據(jù)流，目的為了讓機(jī)器能夠模仿人類來(lái)識(shí)別音頻背后特定的背景信息(例如：公園、街道或餐廳)的一類方法。

在機(jī)器學(xué)習(xí)領(lǐng)域，為了解決場(chǎng)景識(shí)別的問(wèn)題，提出了很多不同的模型和音頻特征表示方法。早在1997年，就已經(jīng)出現(xiàn)利用神經(jīng)網(wǎng)絡(luò)解決場(chǎng)景音頻的問(wèn)題的相關(guān)研究了。1998年Liu等人使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNNs)和最近鄰分類器對(duì)五類不同的環(huán)境聲音進(jìn)行區(qū)分。然而，由于訓(xùn)練過(guò)程中引進(jìn)了過(guò)多的參數(shù)，以上兩種神經(jīng)網(wǎng)絡(luò)的模型復(fù)雜度非常高，且訓(xùn)練后性能表現(xiàn)較差。在2013年由IEEE AASP舉辦的比賽中，許多參賽隊(duì)伍試圖利用一些傳統(tǒng)的機(jī)器學(xué)習(xí)方法，例如高斯混合模型(Gaussian MixtureModels,GMMs)、支持向量機(jī)(Support Vector Machines,SVMs)、基于樹的分類方法(Tree-based Methods)和基于包的分類方法(Bag-based Methods)，來(lái)區(qū)分10類不同的聲音場(chǎng)景類別。盡管這些方法有著較低的計(jì)算復(fù)雜度，但由于它們的模型結(jié)構(gòu)相對(duì)簡(jiǎn)單并且無(wú)法充分利用當(dāng)今大數(shù)據(jù)潮流下提供的越來(lái)越多的數(shù)據(jù)，傳統(tǒng)機(jī)器學(xué)習(xí)方法無(wú)法達(dá)到令人滿意的音頻場(chǎng)景識(shí)別效果。

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNNs)的提出推動(dòng)了神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)在模式識(shí)別等領(lǐng)域的應(yīng)用。其中局部感知和權(quán)重共享的思想在減少模型參數(shù)的同時(shí)，也可以捕獲更多的特征從而提高網(wǎng)絡(luò)模型性能。2017年Valenti等人將CNN應(yīng)用在音頻場(chǎng)景識(shí)別領(lǐng)域，并取得了不錯(cuò)的效果。2018年Kong等人提出了8層卷積操作的CNN結(jié)構(gòu)，并在2018年由IEEEAASP舉辦的DECASE挑戰(zhàn)賽上取得了不錯(cuò)的成績(jī)。然而，現(xiàn)存基于CNNs的方法中，往往利用單一尺度的聲音特征進(jìn)行場(chǎng)景識(shí)別，使得訓(xùn)練好的模型往往適用于某類或某幾類特殊的場(chǎng)景，導(dǎo)致整體場(chǎng)景識(shí)別準(zhǔn)確率不理想。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是，提供一種具有更高的準(zhǔn)確率和更好的實(shí)時(shí)性的基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法。

本發(fā)明所采用的技術(shù)方案是：一種基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別方法，包括如下步驟：

1)建立基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，用于準(zhǔn)確識(shí)別不同頻帶大小和不同持續(xù)時(shí)間的音頻場(chǎng)景；

2)將包含有不同場(chǎng)景類別的音頻文件和對(duì)應(yīng)的場(chǎng)景類別的訓(xùn)練集輸入基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

3)讀取音頻文件并進(jìn)行預(yù)處理，得到音頻信號(hào)片段；

4)從所述的音頻信號(hào)片段中提取對(duì)數(shù)梅爾圖；

5)將所述的對(duì)數(shù)梅爾圖輸入到訓(xùn)練后的基于注意力機(jī)制的多尺度音頻場(chǎng)景識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型中，得到最終的場(chǎng)景類別。