[發明專利]一種基于時間序列數據的異常點檢測方法及裝置

在審

• 申請號: 202011635823.3
• 申請日: 2020-12-31
• 公開（公告）號: CN112668660A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 杜海鵬
• 申請（專利權）人: 新奧數能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/2458
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 張艷

本發明適用于計算機技術領域，提供了一種基于時間序列數據的異常點檢測方法及裝置，其中，所述方法包括：獲取時間序列的待測試窗口數據，對所述待測試窗口數據進行升序排列，得到待測試窗口數據的升序數組；設定所述待測試窗口數據的異常點比例和松弛參數；獲取所述升序數組的所有正常點，得到正常點子集；計算所述待測試窗口數據的上界值和下界值；基于所述上界值和所述下界值，確定所述待測試窗口數據中的異常點。本發明通過設定待測試窗口數據的異常點比例和松弛參數，計算出上界值和下界值，檢測出異常點，從而解決了異常點為不完全離群數據所導致的算法識別準確度不高的問題。

技術領域

本發明屬于計算機技術領域，具尤其涉及一種基于時間序列數據的異常點檢測方法及裝置。

背景技術

在產業互聯網或物聯網場景下，物聯數據的正確接入是十分具有挑戰性的一項工作。我們將物聯設備的數據稱為測點數據，測點數據是一個時間序列數據。通常，測點數據有兩種類型。第一種是累計值，如電表數據；第二種是瞬時值，如壓強、流速等數據。時間序列的異常點檢測有一些現成的技術，例如python包adtk，adtk可以針對一些特定模式的異常點，進行檢測。但是，如果把所有測點看作一個總體，可以發現某種特定模式的異常點其實是有一定概率是正常數據的。從算法的角度而言，算法可以識別離群點，而異常值是一個有業務含義的概念，如果完全用無監督學習的方式，很難定義異常點與正常點的分界。在實踐中，我們發現一類異常點是一個特別大的正數或一個特別小的負數，而這些數又不會完全離群，如正常0-1000范圍的數據中混入了一定比例的2.3E23或-3.5E-10，用算法很難直接識別出這些異常點。

發明內容

有鑒于此，本發明提供了一種基于時間序列數據的異常點檢測方法及裝置，以解決現有技術中異常點為特別大的正數或特別小的負數所導致的算法識別準確度不高的問題。

本發明實施例的第一方面，提供了一種基于時間序列數據的異常點檢測方法，包括：

獲取時間序列的待測試窗口數據，對所述待測試窗口數據進行升序排列，得到待測試窗口數據的升序數組；

設定所述待測試窗口數據的異常點比例和松弛參數；

基于所述異常點比例，獲取所述升序數組的所有正常點，得到正常點子集；

基于所述正常點子集和所述松弛參數，計算所述待測試窗口數據的上界值和下界值；

基于所述上界值和所述下界值，確定所述待測試窗口數據中的異常點。

在一些實施例中，基于所述正常點子集和所述松弛參數，計算所述待測試窗口數據的上界值和下界值之后，還包括：

判斷所述上界值和下界值是否滿足預設條件；

若否，則返回步驟設定所述待測試窗口數據的異常點比例和松弛參數。

在一些實施例中，基于所述異常點比例，獲取所述升序數組的所有正常點，得到正常點子集，具體包括：

基于所述異常點比例，計算升序數組的正常點最小值所對應的下標；

基于所述最小值所對應的下標，獲取所述升序數組的所有正常點，得到正常點子集。

在一些實施例中，升序數組正常點最小值所對應的下標的計算公式為：

其中，X表示升序數組，i為升序數組中正常點最小值所對應的下標，len(X)表示升序數組的長度，X的下標從0到len(X)-1，X[i]表示升序數組的第i+1個數，X[len(X)-1-out+i]表示升序數組第len(X)-out+i個數，out為異常點個數，out＝len(X)*a，a為異常點比例。

在一些實施例中，基于所述正常點子集和所述松弛參數，計算所述待測試窗口數據的上界值和下界值，具體包括：