[發明專利]一種基于無監督學習的時間序列異常檢測方法及系統

在審

• 申請號: 202011589222.3
• 申請日: 2020-12-28
• 公開（公告）號: CN112597539A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 余賢喆;梁淑云;劉勝;馬影;陶景龍;王啟凡;魏國富;殷錢安;周曉勇
• 申請（專利權）人: 上海觀安信息技術股份有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 張景云

本發明提供一種基于無監督學習的時間序列異常檢測方法，包括：S01.獲取服務訪問記錄，構建用于比較的時間序列；S02.構建時間序列，選擇設定的時間段，對用戶訪問服務的次數做統計，形成時間序列；S03.異常操作時間序列檢測，采用局部異常因子算法對步驟S02中的時間序列表做局部異常因子檢測，采用動態時間規整距離計算序列間的距離，并根據距離計算局部異常因子；S04.異常操作篩選。本發明通過將DTW距離替代局部異常因子算法中的距離算法來對運營商或類似企業內部服務器訪問行為進行異常檢測，可以只應用一個模型，在沒有對用戶進行分類的情況下做時間序列的無監督異常檢測，不需要區分類型，不需要根據序列的周期性、季節性等特征管理多個模型。

技術領域

本發明涉及計算機數據安全技術領域，具體來說是一種基于無監督學習的時間序列 異常檢測方法及系統。

背景技術

運營商內部有大量的服務器，不同的服務器有各自的作用域，涉及到敏感信息的服 務需要更嚴格的監控，以防止可能存在的攻擊或者數據泄露。操作員在訪問系統的行為具有時間上的關聯性和周期性，可以通過構建時間序列，利用局部異常因子算法，結合DTW，做用戶行為時間序列和自己類似的群體之間的比較，達到對敏感信息的訪問進行 監控和異常檢測的目的。

如申請號為202011012234.X公開的一種時間序列數據異常檢測方法和裝置，所述方 法包括：獲多個時間序列數據，并對多個時間序列數據進行預處理；通過Tsfresh對預處理后的多個時間序列數據進行特征提取，并獲取所提取的時間序列特征的貢獻度信息； 根據貢獻度信息對時間序列特征進行PCA降維；通過IForest對降維后的時間序列特征進 行標注，以構成樣本集，其中，樣本集包括訓練集和測試集；通過訓練集訓練得到多種 分類模型；通過測試集測試每種分類模型的異常檢測準確率；獲取待檢測時間序列數據， 并將待檢測時間序列數據分別輸入每種分類模型，以得到相應的異常檢測結果；根據每 種分類模型的異常檢測準確率和異常檢測結果對多種分類模型進行投票融合，以確定最 終的異常檢測結果。該方法為有標注的監督學習，通過提取時間序列的統計特征，結合 標注進行監督學習訓練，

現有的時間序列的異常檢測主要有：基于歷史數據的統計檢測，這種方法會有過多 的點被識別成異常點；利用預測加統計的方法，在現實場景中，用戶操作可能存在的周期很長，而數據量相對較少，利用這種方法無法準確預測；通過計算時間序列的周期性 特征來挖掘機器行為的，但很多場景中本就存在機器行為，適用范圍受限；通過抽取時 間序列統計特征，利用有監督算法進行分類，這種方法需要更多的人工干預和較多里歷 史專家經驗積累。由于各個崗位的操作行為必然有所不同，崗位內部也可能有著不同的 分工，操作員也可能有調崗的情況存在，所以對某一特定崗位做時間序列異常檢測也很 容易造成過多的異常誤報，而且大量的時間序列異常檢測模型也存在管理困難，應用不 便的問題。

發明內容

本發明所要解決的技術問題在于提供一種有效解決標簽樣本缺失、準確率低、誤報 率高問題的基于無監督學習的時間序列異常檢測方法。

本發明通過以下技術手段實現解決上述技術問題的：

一種基于無監督學習的時間序列異常檢測方法，包括以下步驟：

S01.獲取服務訪問記錄，構建用于比較的時間序列；

S02.構建時間序列，選擇設定的時間段，對用戶訪問服務的次數做統計，形成時間序列；

S03.異常操作時間序列檢測，采用局部異常因子算法對步驟S02中的時間序列表做 局部異常因子檢測，采用動態時間規整距離計算序列間的距離，并根據距離計算局部異常因子；

S04.根據步驟S03中計算出的局部異常因子進行篩選，超過閾值的操作為異常操作。