[發明專利]基于分布式數據流的核密度估計離群點的檢測方法

在審

• 申請號: 201611132310.4
• 申請日: 2016-12-09
• 公開（公告）號: CN106815299A
• 公開（公告）日: 2017-06-09
• 發明（設計）人: 周洋;丁星;武靜;楊春勇;閔圣捷
• 申請（專利權）人: 中電科華云信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海漢聲知識產權代理有限公司31236
• 代理人: 郭國中

技術領域

本發明涉及一種核密度估計離群點的檢測方法，特別是涉及一種基于分布式數據流的核密度估計離群點的檢測方法。

背景技術

對于流式處理數據進行核密度估計的時候，由于數據量很大，在實際的環境中往往都是分布式的方式進行存儲，這個時候由于分布式的環境復雜，各個節點之間的網絡通信的阻塞，帶寬不均衡等原因，可以造成局部或則某個節點的數據分布的核密度估計離群點對于整體節點的分布而言是正常節點。那么這樣基于局部的判斷就是無效的。這個時候對于應該把局部數據匯聚到主節點作為整體的樣本數據參與計算。但是由于數據量特別大，我采用采樣的方式進行計算，采樣的方式采用兩種窗口方式進行采樣。通過不斷的迭代來減小誤差來達到離群點的檢測。

發明內容

本發明所要解決的技術問題是提供一種基于分布式數據流的核密度估計離群點的檢測方法，其能夠通過hash方式進行分布式存儲，讓數據盡量的分布均勻，采用滑動窗口采樣的方式進行計算，減少了計算量，減少離群點檢測的誤差。

本發明是通過下述技術方案來解決上述技術問題的：一種基于分布式數據流的核密度估計離群點的檢測方法，其包括以下步驟：

步驟一，對流式數據集通過hash方式進行分布式存儲，讓數據盡量的分布均勻；

步驟二，根據多粒度偏差因子定義新的核密度，并在其基礎上給出了一種新的離群點定義，它的主要思想是對每個點周圍的數據分布密度進行估計，以此判斷其離群度，具有對參數依賴小的特點，然后在這個新離群點定義的基礎上定義新的核函數，用此核函數做密度估計；

步驟三，滑動窗口對局部節點的數據進行采樣；

步驟四，對采樣的數據進行總體的核密度估計，并記錄離群點；

步驟五，最后不斷的迭代以上步驟實現最小誤差收斂，結束進程。

優選地，所述步驟三采用兩種滑動窗口對局部節點的數據進行采樣，一、最新達到的n個樣本數據，二、某段時間內達到的樣本數據。

本發明的積極進步效果在于：本發明能夠對于核估計函數的重新定義，重新估計樣本離群點；對于大量整體樣本的計算采用滑動窗口采樣的方式進行計算，而不是全體數據的計算，減少了計算量；通過迭代方式的方式重復抽樣局部節點數據可以達到概率上的收斂。

附圖說明

圖1為本發明的流程圖。

具體實施方式

下面結合附圖給出本發明較佳實施例，以詳細說明本發明的技術方案。

如圖1所示，本發明基于分布式數據流的核密度估計離群點的檢測方法包括以下步驟：

步驟一，對流式數據集通過hash(散列)方式進行分布式存儲，讓數據盡量的分布均勻；

步驟二，根據多粒度偏差因子定義新的核密度，并在其基礎上給出了一種新的離群點定義，它的主要思想是對每個點周圍的數據分布密度進行估計，以此判斷其離群度，具有對參數依賴小的特點，然后在這個新離群點定義的基礎上定義新的核函數，用此核函數做密度估計；

步驟三，滑動窗口對局部節點的數據進行采樣；

步驟四，對采樣的數據進行總體的核密度估計，并記錄離群點；

步驟五，最后不斷的迭代以上步驟實現最小誤差收斂，結束進程。

所述步驟三采用兩種滑動窗口對局部節點的數據進行采樣，一、最新達到的n個樣本數據，二、某段時間內達到的樣本數據。n為自然數。

以上所述的具體實施例，對本發明的解決的技術問題、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發明的具體實施例而已，并不用于限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。