[發明專利]一種離線嵌入式異常聲音檢測系統和方法

有效

• 申請號: 202010135741.6
• 申請日: 2020-03-02
• 公開（公告）號: CN111370027B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 王旺旺
• 申請（專利權）人: 樂鑫信息科技（上海）股份有限公司
• 主分類號: G10L25/51
• 分類號: G10L25/51;G10L25/30;G10L25/18;G06F18/241;G06F18/21;G06N3/045;G06N3/0464;G06N3/049;G06N3/047;G06N3/0442;G06N3/08
• 代理公司: 上海滬慧律師事務所 31311
• 代理人: 朱九皋

本發明提供了一種離線嵌入式異常聲音檢測系統，包含聲音采集模塊、聲音音頻特征提取模塊和神經網絡模塊。聲音音頻特征提取模塊使用快速傅里葉變換，在頻域對由聲音采集模塊利用數字麥克風得到的采樣數據進行處理后，輸入到神經網絡模塊完成異常分類。神經網絡模塊包含CNN特征提取層、LSTM長短期記憶層、全連接及分類層和觸發判決層。其中CNN特征提取層的網絡層數動態可調，全連接及分類層的網絡結構動態可變，觸發判決層用于消除神經網絡產生的泛化誤差。本發明還包含一種利用離線嵌入式異常聲音檢測系統進行異常檢測的方法。本發明工作于離線環境，對網絡依賴少，性能強工作可靠，能夠適應變化的異常診斷工作環境。

技術領域

本發明涉及嵌入式設備領域，特別是一種離線嵌入式異常聲音檢測系統和方法。

背景技術

聲音是一種傳遞信息的方便、有效和快捷的方式。目前車輛工作的異常檢測，壓縮機、電機等機械設備的故障檢測，房間異常聲音的檢測，兒童哭聲的檢測等主要還是基于人為判斷，過于依賴人的主觀經驗，所以導致定位這些異常誤差大且消耗的成本高。

近年來有出現一些基于深度學習的異常聲音檢測方法，可以表現出較好的實際應用效果，但是也存在一些缺陷：

1、系統復雜，計算量大，依賴于復雜的計算單元甚至GPU(Graphic?Process?Unit，視頻處理單元)，對于空調，壓縮機等設備而言，故障檢測系統部署困難且成本太高。

2、龐大的檢測系統需要部署在服務器，通過使待檢測設備聯網后將工作數據傳送至服務器，在服務器上進行檢測后再通過網絡回傳至設備。這樣有以下幾點問題：

過于依賴網絡環境，網絡不通時，故障檢測系統將無法工作。

由于空調，壓縮機等待檢測設備工作聲音頻域上跨度大，需要使用48KHz作為聲音采樣頻率，因此傳送的數據量大，對網絡壓力大。

網絡傳輸實時音頻時極其容易出現掉幀現象，當音頻流出現掉幀時其頻譜特征可能會隨之變化，造成故障檢測失敗。

發明內容

本發明的目的在于提供一種離線嵌入式異常聲音檢測系統和方法，主要解決上述現有技術存在的問題，它可以減少對網絡的依賴，提高異常聲音檢測的可靠性。

為了實現上述目的，本發明所采用的技術方案是提供一種離線嵌入式異常聲音檢測系統，其特征在于，包含嵌入端系統；所述嵌入端系統包含聲音采集模塊、聲音音頻特征提取模塊和神經網絡模塊；

所述聲音采集模塊將被檢測發出的聲音轉換成音頻數字信號，然后傳輸給所述聲音音頻特征提取模塊；所述聲音音頻特征提取模塊在頻域上對所述音頻數字信號進行處理，得到音頻頻率采樣，作為所述神經網絡模塊的輸入；

所述神經網絡模塊由CNN特征提取層和全連接及分類層組成；所述CNN特征提取層的網絡層數動態可調；所述CNN特征提取層對所述音頻頻率采樣進行特征提取后，由所述全連接及分類層從異常種類中選出一個作為異常檢測結果，完成異常分類；

所述神經網絡模塊的工作參數由異常檢測模型決定；所述異常種類的數量由所述異常檢測模型決定；所述全連接及分類層的網絡結構根據所述異常種類的數量決定，動態可變，輸出的所述異常種類包含N種異常、未識別異常和無異常。

進一步地，所述神經網絡模塊還包含LSTM長短期記憶層；所述LSTM長短期記憶層處理所述CNN特征提取層的輸出，完成時間維度信息的篩選，然后輸出到所述全連接及分類層。

進一步地，其特征在于，所述神經網絡模塊還包含觸發判決層；所述觸發判決層對所述全連接及分類層的輸出做最后分類，排除泛化誤差。

進一步地，所述觸發判決層的工作流程是：