[發明專利]一種有效的海洋哺乳動物聲音自動檢測和分類方法

有效

• 申請號: 202210817343.1
• 申請日: 2022-07-12
• 公開（公告）號: CN115188387B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李丹陽;李軍;蔣凱林;鄭興澤;李焦;明揚;李林成;謝天宇
• 申請（專利權）人: 四川農業大學
• 主分類號: G10L17/26
• 分類號: G10L17/26;G10L17/02;G10L17/18;G10L17/04;G10L17/06;G10L25/24;G10L25/03;G10L25/30;G06F18/241;G06F18/2415;G06N3/0464;G06N3/047;G06N3/08
• 代理公司: 成都巾幗知識產權代理有限公司 51260
• 代理人: 邢偉

本發明涉及一種有效的海洋哺乳動物聲音自動檢測和分類方法，包括將海洋哺乳動物音頻數據通過單樣本變分自編碼器進行數據增強處理；從音頻數據中提取出梅爾倒譜系數和起始強度包絡進行特征拼接得到第一輸入特征的梅爾頻率倒譜系數，通過音頻指紋提取的方式從音頻數據中提取出第二輸入特征的音頻指紋特征；將梅爾頻率倒譜系數和音頻指紋特征輸入到雙路融合網絡中，得到兩路預測結果，對兩路預測結果進行融合得到對海洋哺乳動物檢測和分類的最終預測結果。本發明通過雙路并行的融合網絡結構，使得融合網絡可以同時具有捕捉高維特征和利用時序信息的能力，并利用不同網絡所關注的不同信息，增強模型間的互補性對模型性能進行高效提升。

技術領域

本發明涉及海洋聲學應用技術領域，尤其涉及一種有效的海洋哺乳動物聲音自動檢測和分類方法。

背景技術

據統計，自1600年以來，世界上的2.1％的哺乳動物已經滅絕。專家統計分析發現，現在物種的滅絕速度在不斷加快，約是以前(原估計)速度的100～1000倍。在全球已記錄的173.9萬個物種中，海洋哺乳動物約有130多種，其中鯨和海豚類動物達90余種，其它鰭腳目和海牛目等動物近40種。在我國海域中已記錄的20278個生物物種中，己發現近50種水生哺乳動物(包括引進種)，其中鯨和海豚類動物有發現記錄的達41種，鰭腳類動物5種(不包括引進種)，海牛目動物1種。海洋哺乳動物是自然界中最瀕危的物種，幾乎在世界各個國家中，海洋哺乳動物都被列為保護動物。

雖然海洋哺乳動物的數量少，但在維持海洋生態系統平衡中所起的作用不容小覷，對海洋哺乳動物的保護也是一件及其重要的事情；而近年來，由于物種資源狀況不清、棲息地衰退、水環境污染等問題，海洋哺乳動物生存狀況仍面臨嚴峻挑戰；傳統的人工識別哺乳動物工作困難，工作效率低下，工作時間長，物質、人工成本高，數據處理龐大且困難，無法實施監測海洋哺乳動物，具有時間的滯后性且具有一定的危險性。且樣品采集具有很大的偶然性和隨機性，需要長時間的累積樣品；野外調查和被動聲學監測需要巨大的人力、財力和物力投入，往往難以快速、頻繁和大規模的實施。鑒于很多海洋哺乳動物棲息在人跡罕見的海域，而且活動能力強，給人工識別帶來了極大的困難。因此，如何對海洋哺乳動物進行檢測識別和分類是目前需要考慮的問題。

發明內容

本發明的目的在于克服現有技術的缺點，提供了一種有效的海洋哺乳動物聲音自動檢測和分類方法，解決了傳統人工識別哺乳動物存在的問題。

本發明的目的通過以下技術方案來實現：一種有效的海洋哺乳動物聲音自動檢測和分類方法，所述自動檢測和分類方法包括：

將現有公開和實地采集的海洋哺乳動物音頻數據通過單樣本變分自編碼器進行數據增強處理；

從經過數據增強后的音頻數據中提取出梅爾倒譜系數和起始強度包絡進行特征拼接得到第一輸入特征，通過音頻指紋提取的方式從數據增強后的音頻數據中提取出第二輸入特征的音頻指紋特征；

將梅爾頻率倒譜系數和音頻指紋特征輸入到雙路融合MG-ResFormer網絡中，輸出得到兩路對樣本類別概率進行預測的結果，對兩路預測結果進行融合得到對海洋哺乳動物檢測和分類的最終預測結果。

所述通過音頻指紋提取的方式從數據增強后的音頻數據中提取出第二輸入特征的音頻指紋特征包括：

將音頻數據劃分為多個相同大小的原子幀，并對原子幀的數據進行傅里葉變換計算其頻譜信息；

將計算得到的原子頻譜劃分為多個頻譜帶，對每個頻譜帶進行計算得到能量塊，并將所有能量塊進行組合得到表示原子頻譜能量信息的二維矩陣；

對二維矩陣進行差分計算，通過捕捉每一個能量塊與其鄰近能量塊的方式得到一個只含有0和1的01矩陣；

將二維矩陣和蘊含生物發聲信息的01矩陣進行拼接得到音頻指紋特征。