[發明專利]混合型在線數據異常檢測方法

有效

• 申請號: 201911119057.2
• 申請日: 2019-11-15
• 公開（公告）號: CN110830946B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 李光輝;陳靈強
• 申請（專利權）人: 江南大學
• 主分類號: H04W4/38
• 分類號: H04W4/38;H04W24/02;H04W24/08
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 林娟

1.一種在線數據異常檢測方法，其特征在于，利用一階差分FOD方法計算某一節點新采集的數據與標準值的差分值，通過比較差分值與閾值的大小來判斷異常；

采用基于超網格結構的K近鄰異常檢測HGDB方法計算新采集數據所映射的超網格結構中檢測域內數據點的數量，比較數量與閾值，包括：當獲得全部壓縮坐標的數組后，將數組進行倒序排序；然后統計同一坐標出現的次數，來記錄每個超立方體內數據點的數量，從而獲得關于超立方體坐標及其包含數據點數量的二維數組；傳感器節點利用上述二維數組，計算本地HGDB的閾值K*；隨機從本地數據集V中抽取s個數據點，計算其坐標值；然后統計這些數據點檢測域內的數據點數量總和，求取分布平均值得閾值K*；

其中，r為訓練數據的樣本空間中，非空超立方體占全部超立方體的比例；|NP|為非空數組中記錄超立方體的個數，為訓練集映射的超網格區域包含的超立方體的總數；|DR(j)|表示測試數據j檢測域內的數據點的數量；

結合FOD和HGDB的方法，綜合判斷數據是否正常；所述標準值為經過FOD檢測并判斷為正常的數值；

當檢測到正確數據后，標準值都會被當前正常數據替代；

當檢測到連續異常時，該節點將發送詢問數據包給其他節點，其中包含該節點近期正確的數據，包括：當HGDB算法、FOD算法這兩種算法都檢測數據為正常，則新采集的數據為正常；當只有HGDB算法檢測數據為異常時，若連續出現此情況，則NP失效，需要重新更新模型；當只有FOD算法檢測數據為異常時，若連續出現此情況，則該節點發送詢問數據包給其他節點，進行分析；當兩種算法都檢測數據為異常，則新采集的數據為明顯異常；

其他節點利用線性最小二乘估計LLSE算法估計詢問節點最新的數據，并將估計結果返回給詢問節點，然后，詢問節點分別對估計值與當前值以及估計值與標準值進行FOD計算，判斷連續的異常是標準值出錯還是數據的異常。

2.根據權利要求1所述的一種在線數據異常檢測方法，其特征在于，包括以下步驟：

步驟1：使用動態分簇的算法將傳感器網絡分簇；

步驟2：在初始部署階段，簇內節點采集的數據將直接存儲；

步驟3：簇內節點協調模型更新，并計算閾值；

步驟4：傳感器節點在本地進行實時異常檢測，并保存正確的數據；

步驟5：若步驟4檢測到該節點連續異常，則發送詢問數據包給鄰居節點進行分析；

步驟6：若步驟4檢測到模型需要更新，跳轉步驟3，否則跳轉到步驟4。

3.根據權利要求2所述的一種在線數據異常檢測方法，其特征在于，所述步驟3包括以下步驟：

步驟31：初始部署階段：當某一節點存儲數據數量超過預設值，則該節點發送更新請求給簇頭，請求更新；運行階段：當某一節點存儲的數據完全被替代時請求更新，或者當某一節點的標準文件失效時，提前發起更新請求；

步驟32：當收到簇內節點的更新請求包時，簇頭廣播模型更新命令，同步簇內檢測模型與閾值的更新操作，更新的內容包括訓練數據在超立方結構中分布情況、HGDB檢測過程的閾值K，及FOD檢測過程的閾值T；

步驟33：簇內傳感器節點統計本地數據信息，發送給簇頭，所述本地數據信息包括溫度值數據的累加和、平方和、最大值、最小值、方差；

步驟34：簇頭統計簇內總的本地數據信息，再發送給簇內其他傳感器節點；

步驟35：簇內傳感器節點各自標準化本地保存的數據，并將數據映射到超網格結構中，統計數據的二維分布數組，即統計非空網格坐標及網格內數據點的數量，然后計算本地HGDB的閾值K*，傳感器節點將數據的二維分布數組和閾值K*值發送給簇頭；

步驟36：簇頭整合簇內傳感器節點的全部數據分布信息，形成一個全局標準文件，并且計算全局的閾值K值，及FOD的閾值T，簇頭將閾值K值與閾值T發送給簇內各傳感器節點。