[發(fā)明專利]一種音頻場(chǎng)景分類方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110304711.8
• 申請(qǐng)日: 2021-03-23
• 公開（公告）號(hào): CN112700794B
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 白雪
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G10L25/51
• 分類號(hào): G10L25/51;G10L25/54;G10L25/24;G10L25/18;G10L25/30;G06F16/65
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種音頻場(chǎng)景分類方法，其特征在于，所述方法包括：

獲取待分類的音頻信息；

對(duì)所述音頻信息進(jìn)行聲學(xué)特征提取，得到第一聲學(xué)特征信息和第二聲學(xué)特征信息，所述第一聲學(xué)特征信息表征所述音頻信息的頻譜信息，所述第二聲學(xué)特征信息表征所述音頻信息的頻譜包絡(luò)信息；

將所述第一聲學(xué)特征信息輸入到音頻場(chǎng)景特征提取模型中進(jìn)行場(chǎng)景特征提取，得到場(chǎng)景特征信息；

將所述第二聲學(xué)特征信息輸入到聲學(xué)場(chǎng)景分割模型中進(jìn)行聲學(xué)場(chǎng)景分析，確定第二聲學(xué)特征信息中的聲音事件單元與不同的聲學(xué)場(chǎng)景間的關(guān)聯(lián)程度，并根據(jù)所述關(guān)聯(lián)程度，得到音頻場(chǎng)景信息，所述音頻場(chǎng)景信息表征所述音頻信息中的聲音事件單元在不同的聲學(xué)場(chǎng)景中的重要程度；

將所述場(chǎng)景特征信息和所述音頻場(chǎng)景信息輸入到注意力模型中進(jìn)行注意力學(xué)習(xí)，得到場(chǎng)景特征加權(quán)信息，所述注意力模型用于對(duì)所述音頻場(chǎng)景信息進(jìn)行注意力學(xué)習(xí)并基于注意力學(xué)習(xí)后的音頻場(chǎng)景信息，對(duì)所述場(chǎng)景特征信息進(jìn)行注意力學(xué)習(xí)；

將所述場(chǎng)景特征加權(quán)信息輸入到場(chǎng)景分類網(wǎng)絡(luò)中進(jìn)行場(chǎng)景分類，得到音頻場(chǎng)景分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的音頻場(chǎng)景分類方法，其特征在于，所述聲學(xué)場(chǎng)景分割模型包括聲音事件獲取層和聲學(xué)場(chǎng)景分類層，所述將所述第二聲學(xué)特征信息輸入到聲學(xué)場(chǎng)景分割模型中進(jìn)行聲學(xué)場(chǎng)景分析，得到音頻場(chǎng)景信息包括：

在所述聲音事件獲取層中，對(duì)所述第二聲學(xué)特征信息進(jìn)行分割，得到聲音事件單元序列；

在所述聲學(xué)場(chǎng)景分類層中，根據(jù)預(yù)設(shè)的聲學(xué)場(chǎng)景集，確定所述聲音事件單元序列中每個(gè)聲音事件單元對(duì)應(yīng)的第一頻率和第二頻率，所述第一頻率表征所述每個(gè)聲音事件單元在每個(gè)聲學(xué)場(chǎng)景中出現(xiàn)的頻率，所述第二頻率表征所述每個(gè)聲音事件單元在所述聲學(xué)場(chǎng)景集中出現(xiàn)的頻率；

在所述聲學(xué)場(chǎng)景分類層中，根據(jù)所述第一頻率和所述第二頻率，確定所述音頻場(chǎng)景信息。

3.根據(jù)權(quán)利要求1所述的音頻場(chǎng)景分類方法，其特征在于，所述場(chǎng)景特征信息包括多個(gè)場(chǎng)景特征信息，所述注意力模型包括預(yù)處理網(wǎng)絡(luò)、第一注意力網(wǎng)絡(luò)和第二注意力網(wǎng)絡(luò)，所述將所述場(chǎng)景特征信息和所述音頻場(chǎng)景信息輸入到注意力模型中進(jìn)行注意力學(xué)習(xí)，得到場(chǎng)景特征加權(quán)信息包括：

在所述預(yù)處理網(wǎng)絡(luò)中，對(duì)所述多個(gè)場(chǎng)景特征信息進(jìn)行均值池化，得到多個(gè)目標(biāo)特征信息；

在所述預(yù)處理網(wǎng)絡(luò)中，對(duì)所述多個(gè)目標(biāo)特征信息進(jìn)行均值處理，得到均值特征信息；

在所述第一注意力網(wǎng)絡(luò)中，根據(jù)所述均值特征信息和所述音頻場(chǎng)景信息，確定所述音頻場(chǎng)景信息對(duì)應(yīng)的場(chǎng)景加權(quán)信息；

在所述第二注意力網(wǎng)絡(luò)中，根據(jù)所述場(chǎng)景加權(quán)信息和所述目標(biāo)特征信息，確定所述目標(biāo)特征信息對(duì)應(yīng)的場(chǎng)景特征加權(quán)信息。

4.根據(jù)權(quán)利要求3所述的音頻場(chǎng)景分類方法，其特征在于，所述音頻場(chǎng)景信息包括多個(gè)音頻場(chǎng)景信息，所述第一注意力網(wǎng)絡(luò)包括第一相似度計(jì)算層、第一權(quán)重分布計(jì)算層和場(chǎng)景信息加權(quán)層，所述在所述第一注意力網(wǎng)絡(luò)中，根據(jù)所述均值特征信息和所述音頻場(chǎng)景信息，對(duì)所述音頻場(chǎng)景信息的權(quán)重進(jìn)行確定，得到場(chǎng)景加權(quán)信息包括：

在所述第一相似度計(jì)算層中，計(jì)算所述均值特征信息與每個(gè)音頻場(chǎng)景信息間的第一相似度；

在所述第一權(quán)重分布計(jì)算層中，根據(jù)所述第一相似度，確定所述音頻場(chǎng)景信息對(duì)應(yīng)的第一權(quán)重分布；

在所述場(chǎng)景信息加權(quán)層中，根據(jù)所述第一權(quán)重分布，對(duì)每個(gè)音頻場(chǎng)景信息進(jìn)行加權(quán)平均，得到場(chǎng)景加權(quán)信息。

5.根據(jù)權(quán)利要求3所述的音頻場(chǎng)景分類方法，其特征在于，所述第二注意力網(wǎng)絡(luò)包括第二相似度計(jì)算層、第二權(quán)重分布計(jì)算層和特征信息加權(quán)層，所述在所述第二注意力網(wǎng)絡(luò)中，根據(jù)所述場(chǎng)景加權(quán)信息和所述目標(biāo)特征信息，對(duì)所述目標(biāo)特征信息的權(quán)重進(jìn)行確定，得到場(chǎng)景特征加權(quán)信息包括：

在所述第二相似度計(jì)算層中，確定所述場(chǎng)景加權(quán)信息與每個(gè)目標(biāo)特征信息間的第二相似度；

在所述第二權(quán)重分布計(jì)算層中，根據(jù)所述第二相似度，確定所述目標(biāo)特征信息對(duì)應(yīng)的第二權(quán)重分布；

在所述特征信息加權(quán)層中，根據(jù)所述第二權(quán)重分布，對(duì)每個(gè)目標(biāo)特征信息進(jìn)行加權(quán)平均，得到場(chǎng)景特征加權(quán)信息。