[發明專利]基于多粒度標簽融合的深度聲學場景分類方法及系統

在審

• 申請號: 201910675609.1
• 申請日: 2019-07-25
• 公開（公告）號: CN110569870A
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 楊吉斌;姚琨;張雄偉;鄭昌艷;曹鐵勇;孫蒙;李莉;趙斐
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 32326 南京樂羽知行專利代理事務所(普通合伙)
• 代理人: 孫承堯

1.一種基于多粒度標簽融合的深度聲學場景分類方法，其特征在于，包括：

將聲音場景數據的頻譜圖樣本對應的原單標簽劃分為多種粒度類別標簽，所述多粒度類別標簽至少包括細粒度類別標簽和粗粒度類別標簽；

基于多任務卷積神經網絡分別對第一訓練數據和第二訓練數據進行主任務部分訓練和次任務部分訓練，得到所述第一訓練數據對應的第一分類結果和所述第二訓練數據對應的第二分類結果，所述第一訓練數據為訓練頻譜圖樣本及其對應的細粒度類別標簽，所述第二訓練數據為所述訓練頻譜圖樣本及其對應的粗粒度類別標簽；

基于所述第一分類結果、預設粒度閾值和所述第二分類結果，確定樣本的當前判別類別；

對所述當前判別類別進行二次判別，選取最大概率的類作為最終的樣本判別輸出類別。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對聲音場景數據進行處理，得到對應的頻譜圖樣本；

按照預設劃分比例，將所述頻譜圖樣本劃分為訓練樣本、驗證樣本和測試樣本。

3.根據權利要求1所述的方法，其特征在于：

所述第一分類結果包括細粒度標識特征和細粒度輸出概率向量，所述第二分類結果包括粗粒度標識特征和粗粒度輸出概率向量。

4.根據權利要求3所述的方法，其特征在于，所述基于所述第一分類結果、預設粒度閾值和所述第二分類結果，確定樣本的當前判別類別，包括：

當所述細粒度輸出概率向量中最大概率值大于或等于預設粒度閾值時，確定樣本的當前判別類別為所述細粒度單標簽指示的樣本類別；

當所述最大概率值小于所述預設粒度閾值時，接受當前判別類別為粗粒度類別標簽對應的樣本類別。

5.根據權利要求1所述的方法，其特征在于：

每個粗類別的粒度標簽包含的細類別粒度標簽種類相同，且粗類別數少于細類別數據。

6.根據權利要求1所述的方法，其特征在于：

所述多任務卷積神經網絡，包括任務共享網絡參數的數層卷積層、池化層、批標準化層和一層全連接層，還有代表粗細粒度兩個子任務獨享參數的兩個分類輸出層，分別都采用了Softmax激活函數和交叉熵損失函數。

7.根據權利要求6所述的方法，其特征在于：

模型整體的損失函數由所述兩個子任務的損失函數按比例疊加構成。

8.根據權利要求1所述的方法，其特征在于：

所述預設粒度閾值為根據任務的置信度要求設定的固定閾值，或者在任務執行過程中根據閾值計算方法計算的閾值。

9.一種基于多粒度標簽融合的深度聲學場景分類系統，其特征在于，包括：

多粒度標簽劃分模塊，用于將聲音場景數據的頻譜圖樣本對應的原單標簽劃分為多種粒度類別標簽，所述多粒度類別標簽至少包括細粒度類別標簽和粗粒度類別標簽；

多任務訓練模塊，用于基于多任務卷積神經網絡分別對第一訓練數據和第二訓練數據進行主任務部分訓練和次任務部分訓練，得到所述第一訓練數據對應的第一分類結果和所述第二訓練數據對應的第二分類結果，所述第一訓練數據為訓練頻譜圖樣本及其對應的細粒度類別標簽，所述第二訓練數據為所述訓練頻譜圖樣本及其對應的粗粒度類別標簽；

粗細粒度類別判決模塊，用于基于所述第一分類結果、預設粒度閾值和所述第二分類結果，確定樣本的當前判別類別；

多粒度融合判決模塊，用于對所述當前判別類別進行二次判別，選取最大概率的類作為最終的樣本判別輸出類別。

10.根據權利要求9所述的系統，其特征在于，所述系統還包括：

場景數據處理模塊，用于對聲音場景數據進行處理，得到對應的頻譜圖樣本；

頻譜樣本劃分模塊，用于按照預設劃分比例，將所述頻譜圖樣本劃分為訓練樣本、驗證樣本和測試樣本。