[發明專利]一種用于聲音分類的聯合注意力機制模型、方法及應用

在審

• 申請號: 202110774336.3
• 申請日: 2021-07-08
• 公開（公告）號: CN113539297A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 殷波;魏志強;吳劍;孫雁;倪金;孫魯寧;王俏俏
• 申請（專利權）人: 中國海洋大學;青島海爾創新科技有限公司
• 主分類號: G10L25/51
• 分類號: G10L25/51;G10L25/30;G10L25/24;G06N3/04
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 趙梅

本發明公開了一種用于聲音分類的聯合注意力機制模型、方法及應用，將聯合注意力模塊嵌入卷積神經網絡中，所述聯合注意力模塊包括通道注意力模塊和時間注意力模塊，所述通道注意力模塊通過全局最大池化和全局平均池化壓縮除了通道之外的其他維度信息，利用特征通道間的關系生成通道注意力圖，提取通道特征信息；所述時間注意力模塊通過全局最大池化和平均池化來壓縮除了時間之外的其他維度信息，利用特征之間的時間關系生成了時間注意力圖，提取時間特征信息。通過本發明的聯合注意力機制可以加大重要特征的權重，減小無用特征的影響，進而提高CNN的性能。

技術領域

本發明屬于聲音分類技術領域，特別涉及一種用于聲音分類的聯合注意力機制模型、方法及應用。

背景技術

聲音分類任務是預先向系統中輸入大量的音頻數據并對數據的類別進行定義，然后將未定義的音頻數據輸入到系統中來進行判別。目前，有多種網絡結構來對聲音進行分類分類。其中DenseNet在對一些聲音進行分類時，由于DenseNet存在特征冗余性的缺點，導致其分類性能并不十分理想。SENet對Feature map進行了全局平均池化，沒有充分利用特征信息，可能會丟失一些信息。訓練GAN網絡需要達到納什均衡,有時候可以用梯度下降法做到,有時候做不到。目前還沒有找到很好的達到納什均衡的方法,所以訓練GAN相對不太穩定。

卷積神經網絡(Convolutional Neural Network，CNN)能挖掘海量數據中隱含的統計模式，自動學習對分類任務最有區分力的特征。CNN的主要原理是通過過濾器和特征圖的卷積運算從低維度特征中提取出高維度特征，然后將這些信息通過激活函數等非線性運算進行激活并輸入到下一層網絡中，直至最后輸出。

傳統CNN每次卷積都會提取特征，但對于重要特征信息的提取還有上升空間，僅靠傳統CNN自行獲取重要特征可能會有遺漏，并且對聲音識別影響較小的特征對于最終結果的影響可能過大。

綜合各方面的因素，基于聲音的特性，本發明采用通道注意力機制和時間注意力機制相結合的聯合注意力機制結合CNN來對聲音進行識別。

發明內容

針對現有技術存在的不足，本發明提供一種用于聲音分類的聯合注意力機制模型、方法及應用，通過將通道注意力模塊和時間注意力模塊聯合并嵌入卷積神經網絡，分別提取特征圖中的通道信息和時間信息，并生成新的特征圖，提高卷積神經網絡的性能。

為了解決上述技術問題，本發明采用的技術方案是：

首先，本發明提供一種用于聲音分類的聯合注意力機制模型，將聯合注意力模塊嵌入卷積神經網絡中，所述聯合注意力模塊包括兩個子模塊，分別是用于提取通道特征信息的通道注意力模塊和用于提取時間特征信息的時間注意力模塊；

所述通道注意力模塊通過全局最大池化和全局平均池化壓縮除了通道之外其它維度信息，利用特征通道間的關系生成通道注意力圖，提取通道特征信息；

所述時間注意力模塊通過全局最大池化和平均池化來壓縮除了時間之外的其他維度信息，利用特征之間的時間關系生成了時間注意力圖，提取時間特征信息。

進一步的，所述通道注意力模塊由以下方式實現：使用兩個平行的最大池化和平均池化壓縮其它維度信息，得到兩組含有通道信息的權重，之后通過多層感知機進行特征提取后線性相加，最后將其通過Sigmoid激活函數激活。

進一步的，所述通道注意力模塊由以下方式實現：首先保留時間維度，對其它維度分別進行兩次池化操作，分別是平均池化和最大池化，只保留時間維度上的信息，得到兩組含有時間信息的權重，之后通過多層感知機進行特征提取后線性相加，最后將其通過Sigmoid激活函數激活。