[發明專利]一種基于多種設備有監督域自適應的聲場景分類方法

在審

• 申請號: 202310369908.9
• 申請日: 2023-04-10
• 公開（公告）號: CN116386599A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 羅麗燕;王玫;劉展奇;仇洪冰;宋浠瑜;楊含悅;樊小青
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/16;G06N3/09
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 楊雪梅

本發明屬于聲音場景分類領域，具體是指一種基于多種設備有監督域自適應的聲場景分類方法，其特征在于，包括如下步驟，S1：對場景音頻信號進行預處理；S2：進行傅里葉變換，進行梅爾濾波處理，再進行頻段標準化修正，提取三個特征頻譜圖，融合三個特征頻譜圖得到三維聲學特征。S3：將步驟S2得到的三維聲學特征輸入數據增強模塊，得到經過數據增強后的三維聲學特征；S4：構建有監督域自適應聲場景分類模型；S5：進行有監督訓練，得到訓練好的有監督域自適應聲場景分類模型；S6：得到分類結果。本發明具有結構簡單、分類效果好、適應范圍廣的優點。

技術領域

本發明屬于聲音場景分類領域，具體是指一種基于多種設備有監督域自適應的聲場景分類方法。

背景技術

在萬物互聯的時代中，聲場景分類可以在許多領域中應用，如智慧城市建設，生物多樣性監測，城市安全監控等方面。聲學場景分類任務的目標是將采集到的待分類聲音信號按照預先定義的聲場景類別進行分類，從而為許多領域提供目標聲場景信息。研究人員已經對聲場景分類技術進行了許多研究，并且針對多種不同的拾音設備進行聲場景樣本采集，試圖將該技術應用于現已部署的各種拾音設備上，但是由于不同種類的錄音設備獲取到的數據分布不一致，所以對聲場景分類技術提出了設備多樣性問題。

在實際的場景中，這種由設備失配引起的數據分布不一致現象使得已訓練好的聲場景分類模型在其他設備上表現出了明顯的性能下降，從而無法應用到人們的生活中。最近大量基于深度學習的聲場景分類方法被應用于分類任務，并試圖解決設備失配帶來的影響，主要分為音頻樣本數據優化和網絡模型結構優化。音頻樣本數據優化主要有數據增強、頻段標準化等方式，雖然這類方法可以增加樣本數量或修正不同拾音設備帶來的部分樣本差異，但由于聲場景音頻樣本數據的復雜性，聲場景音頻樣本數據可能包含許多重疊聲音或背景噪音，所以這類方法不能完全彌補設備來帶的差異，存在較大的局限性。網絡模型結構的優化主要有設計大規模的網絡結構、融合高低頻路徑分離的深度殘差網絡、采用兩階段分類器進行分類的網絡和通過感受野主動調整正則化系數的網絡，該類方法可以通過網絡模型的優化更好的提取關鍵特征從而提升模型的泛化能力，但是該類方法的模型參數較多，復雜度較高不利于應用于低成本的移動設備上。

發明內容

本發明的目的在于提供一種結構簡單、分類效果好、適應范圍廣的基于多種設備有監督域自適應的聲場景分類方法。

實現上述目的的技術方案包括如下內容。

一種基于多種設備有監督域自適應的聲場景分類方法，包括如下步驟，

S1：讀取多種不同種類拾音設備采集得到的場景音頻信號，并對場景音頻信號進行預處理，獲得經預處理的樣本數據；

S2：對步驟S1獲得的樣本數據進行傅里葉變換，對傅里葉變換處理后的樣本數據進行梅爾濾波處理，再進行頻段標準化修正，提取三個特征頻譜圖，融合三個特征頻譜圖得到三維聲學特征；

S3：將步驟S2得到的三維聲學特征輸入數據增強模塊，得到經過數據增強后的三維聲學特征；

S4：構建有監督域自適應聲場景分類模型；

基于CNN模型和域自適應方法構建聲場景分類模型；

所述聲場景分類模型由若干特征對齊卷積塊和全連接層構成；

所述聲場景分類模型在訓練階段按拾音設備種類將三維聲學特征劃分為源域和目標域，然后所述的源域和目標域分別通過聲場景分類模型，并在每個特征對齊卷積塊單獨計算源域和目標域之間的差異損失，得到域差異損失；

所述特征對齊卷積塊將源域和目標域的輸出特征進行差異對比，并計算出域差異損失；

所述聲場景分類模型的總損失為域差異損失、源域和目標域損失的加權求和；