[發明專利]基于多粒度標簽融合的深度聲學場景分類方法及系統

在審

• 申請號: 201910675609.1
• 申請日: 2019-07-25
• 公開（公告）號: CN110569870A
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 楊吉斌;姚琨;張雄偉;鄭昌艷;曹鐵勇;孫蒙;李莉;趙斐
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 32326 南京樂羽知行專利代理事務所(普通合伙)
• 代理人: 孫承堯

本發明公開一種基于多粒度標簽融合的深度聲學場景分類方法及系統，其中方法包括如下步驟：利用典型聲學場景知識，構建基于知識的多層次粒度標簽模塊，為聲音場景數據生成不同粒度的標簽；采用隱層參數共享機制，實現基于深度多任務學習網絡的分類模型，優化分類性能；針對不同粒度的分類判決模塊，利用高可信度的細粒度標簽和粗粒度子類標簽進行融合判決，得到最終判決結果。采用本發明，通過利用多層次標簽融合技術，采用多任務學習方法，可以提高樣本本身細粒度分類任務的分類精度，進而可以提升聲學場景分類系統的性能。

技術領域

本發明涉及聲學場景分類技術領域，尤其涉及一種基于多粒度標簽融合的深度聲學場景分類方法及系統。

背景技術

聲學場景中包含了豐富的聲學信息，可以為事件判別、場景分析、目標定位提供信息支撐。聲學場景分類，簡單地說就是通過選擇一個語意標簽來描述音頻流的聲學環境。通過對聲學環境的判斷，聲學場景分類技術可以實現場景建模，在機器人、語音通信、人機交互等領域中發揮重要作用。

目前有基于深度神經網絡分類模型進行聲學場景分類的方法。這類方法可以充分學習聲場譜圖中的信息，識別率較高，但由于不同聲學場景中存在相同聲學事件的概率較高，依賴單一分類標簽難以達到實際應用所需要的準確度。

深度神經網絡中的分類模型就是樣本到樣本標簽的一個映射關系，通常只有一個細粒度類別標簽信息，比如“廣場”、“人行道”等等。然而聲學場景本身具有多重類別屬性，廣場和人行道又可以統一到“室外”這個標簽上，因此聲學場景存在不同粒度的類別標簽。聲學場景分類需要同時考慮不同粒度的分類標簽。

為了區分不同粒度的分類標簽，可以采用多任務學習的方法來實現。多任務學習簡單地說就是模型同時學習多個任務。其目標是利用多個學習任務中所包含的有用信息來幫助為每個任務學習得到更為準確的學習器，通過共享相關任務之間的表征，使得模型更好地概括原始任務。根據任務的性質，多任務學習又被劃分為多任務監督學習、多任務無監督學習、多任務半監督學習、多任務主動學習、多任務強化學習、多任務在線學習和多任務多視角學習。而本發明是基于多任務監督學習的。

發明內容

本發明實施例提供一種基于多粒度標簽融合的深度聲學場景分類方法及系統，通過粗細兩種粒度的分類學習與訓練，可以提高樣本本身細粒度分類任務的分類精度，進而可以提升聲學場景分類系統的性能。

本發明實施例第一方面提供了一種基于多粒度標簽融合的深度聲學場景分類方法，可包括：

將聲音場景數據的頻譜圖樣本對應的原單標簽劃分為多種粒度類別標簽，多粒度類別標簽至少包括細粒度類別標簽和粗粒度類別標簽；

基于多任務卷積神經網絡分別對第一訓練數據和第二訓練數據進行主任務部分訓練和次任務部分訓練，得到第一訓練數據對應的第一分類結果和第二訓練數據對應的第二分類結果，第一訓練數據為訓練頻譜圖樣本及其對應的細粒度類別標簽，第二訓練數據為訓練頻譜圖樣本及其對應的粗粒度類別標簽；

基于第一分類結果、預設粒度閾值和第二分類結果，確定樣本的當前判別類別；

對當前判別類別進行二次判別，選取最大概率的類作為最終的樣本判別輸出類別。

進一步的，上述方法還包括：

對聲音場景數據進行處理，得到對應的頻譜圖樣本；

按照預設劃分比例，將頻譜圖樣本劃分為訓練樣本、驗證樣本和測試樣本。

進一步的，上述方法第一分類結果包括細粒度標識特征和細粒度輸出概率向量，第二分類結果包括粗粒度標識特征和粗粒度輸出概率向量。

進一步的，上述基于第一分類結果、預設粒度閾值和第二分類結果，確定樣本的當前判別類別，包括：