[發明專利]一種面向大規模高維傳感器數據的在線式異常檢測方法

有效

• 申請號: 201811541556.6
• 申請日: 2018-12-17
• 公開（公告）號: CN109612513B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 喬焰;金鵬;焦俊;馬慧敏;王婧;崔信紅;沈春山
• 申請（專利權）人: 安徽農業大學
• 主分類號: G01D18/00
• 分類號: G01D18/00;G06N3/04;G06N3/08
• 代理公司: 安徽合肥華信知識產權代理有限公司 34112
• 代理人: 余成俊

本發明公開了一種面向大規模高維傳感器數據的在線式異常檢測方法，包括以下步驟：（101）、獲取歷史數據；（102）、建立深度信念網絡?1/4球面支持向量機混合模型對數據進行降維和檢測；（103）、利用歷史數據對混合模型進行訓練；（104）、采集傳感器數據；（105）、創建滑動窗口，實現在線檢測技術；（106）、利用上面訓練好的混合模型對傳感器采集的數據進行檢測；（107）、輸出檢測后所有的異常數據。本發明改進了現有技術的相關算法和流程，提出了一個在處理高維度數據時，實現在線檢測技術的方法，在大大地提高了異常數據檢測的正確率的同時大大降低了檢測時間。

技術領域

本發明涉及傳感器網絡異常數據處理方法領域，具體是一種面向大規模高維傳感器數據的在線式異常檢測方法。

背景技術

隨著物聯網的普及，無線傳感器網絡已經被廣泛地應用于各個領域，通過分析與挖掘傳感器所采集上報的數據，能夠為各個行業提供極具價值的有效信息。然而復雜的部署環境以及傳感器自身的內存、CPU以及能源的條件非常容易使傳感器發生軟硬件故障，從而產生異常數據，而對摻雜異常數據集合的分析會嚴重影響有效信息的挖掘及關鍵決策的制定。因此實時準確地檢測出無線傳感器網絡所采集的異常數據變得愈發重要。及時檢測出異常數據一方面可以更好的保證傳感器所采集數據的安全性和可靠性；另一方面，異常數據在某些監測環境下能夠發揮重要的作用，例如，可通過采集到的異常數據來判斷是否發生了某種突發事件(如火災、空氣污染、洪水及人為破壞等)。然而，隨著傳感器網絡規模的不斷擴大，及所采集數據的日趨復雜，對傳感器數據異常的檢測變得越來越困難，主要表現為以下幾個方面：(1)無論是分布式還是集中式的數據處理，均要求對異常數據的檢測要具備較低的時間和空間復雜度，從而應對海量的采集數據；(2)由于傳感器通常實時地采集并上傳數據，因此要求數據的異常檢測需要具備在線檢測的能力；(3)現如今，越來越多的數據呈現高維的特征(一個數據項包含溫度，濕度，光照，坐標，位移等諸多維度)，高維數據一方面會增加異常檢測的計算時間，另一方面若異常僅出現在少部分維度上，則這些異常數據很難與正常數據相區分。

過去的幾年中，已經有不少學者提出了無線傳感器網絡的異常數據檢測方法，主要可以分為以下四類：

第一種類型是基于近鄰的方法，通過計算自身數據與相鄰節點數據之間的距離來確定自身數據是否異常，如果某個數據與鄰居節點采集的數據存在較大差異則稱為異常數據，但是計算每個數據之間的距離會花費較長的時間，無法應用在大規模傳感器網絡中。

第二種類型是基于聚類的方法，通過對數據分簇來孤立異常數據，但此方法需要在得到全部數據后再進行分簇，不能在線式地檢測異常數據。

第三種類型是基于統計的方法，是利用歷史數據分布，建立數據的統計模型，不符合該模型的數據視為異常數據。但對于維度較大的數據集合，該方法很難建立較準確的統計模型。

第四種類型是基于分類的方法，通過歷史數據訓練得到一個分類模型，再將待檢測數據分類到所屬的模型之中，不屬于任何類型的數據，將視為異常數據.該方法能夠在保證檢測準確度的情況下滿足在線檢測的需求，并可應用于高維數據集合的異常檢測，是近幾年較為主流的異常檢測方法。其中基于單類支持向量機的異常檢測方法是目前應用最廣泛的基于分類的異常檢測方法之一,它能在無監督模式下高效實時地檢測所采集數據中的異常數據，但單分類支持向量機也存在重要的缺陷，由于在訓練過程中需要求解非線性規劃問題，當數據維度增加時，訓練時間會呈指數級增加。

傳感器網絡實時所采集的數據在很多情況下呈現高維度的特征，而目前的研究都未考慮在處理高維數據的同時，實現高效準確地在線檢測的需求。

現有技術申請號為CN201810314827的中國專利：適用于無線傳感器網絡的異常數據檢測方法，其利用基于PCA提出了局部檢測和全局檢測相結合的雙重檢測機制，重點關注如何選擇簇頭節點的分類方法，并沒有考慮傳感器網絡數據的高維特性。