[發明專利]一種異常檢測方法及系統

有效

• 申請號: 202010567982.8
• 申請日: 2020-06-19
• 公開（公告）號: CN111740991B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 張鵬飛
• 申請（專利權）人: 上海儀電（集團）有限公司中央研究院
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L41/14;H04L41/147
• 代理公司: 上海容慧專利代理事務所(普通合伙) 31287
• 代理人: 于曉菁

1.一種異常檢測方法，其特征在于：具體的異常檢測方法如下：接收終端設備發送的異常檢測要求與待異常檢測的少量帶有標簽的數據集L，根據少量帶有標簽數據集L的情況，對少量帶有標簽的數據集L進行無監督模型(3-1)和有監督模型(3-2)互相打偽標簽的處理，形成正負標簽集，然后對正負標簽集迭代進行無監督模型(3-1)和有監督模型(3-2)互相打偽標簽的處理，直到正負標簽集表現收斂為止，獲得檢測打標完成的異常結果數據集；

所述正負標簽集為經過無監督預測后打標為“0”的樣本集與經過有監督預測后打標為“1”的樣本集；

所述無監督模型(3-1)和有監督模型(3-2)互相打偽標簽的處理的具體步驟為：

S1設定異常點比例參數，將全部數據集作為訓練集，對無監督模型(3-1)進行訓練；

S2對無標簽數據集U進行無監督模型(3-1)預測，將正常樣本標簽為“0”，正常樣本標簽集為L0；

S3在標記數量達到有監督模型(3-2)訓練要求時，將數據集中少量帶有標簽的數據集L作為訓練集，通過增加樣本權重的方式提高有監督模型(3-2)分類能力，同時將class_weight參數設置為’balanced’，進行有監督模型(3-2)的訓練；

S4對無標簽數據集U進行有監督模型(3-2)預測，將異常樣本標簽為“1”，異常樣本標簽集為L1；

S5將L0與L1共同放進訓練集，稱為正負標簽集，將有標簽訓練集L更新為Li，無標簽訓練集U更新為Ui。

2.根據權利要求1所述的一種異常檢測方法，其特征在于：所述的異常檢測方法還包括測試集異常點檢測；所述測試集為少量帶有標簽的數據集L與無標簽數據集U的集合。

3.根據權利要求1所述的一種異常檢測方法，其特征在于：所述S2中無監督模型(3-1)預測的具體方法為：利用訓練好的無監督模型(3-1)對無標簽數據集U進行預測，根據設定的異常點比例參數，當異常點得分超過一定閾值的樣本被判定為異常樣本，打標簽為“1”，其余樣本則為無監督模型(3-1)預測后的正常樣本，打標簽為“0”，并將正常樣本集成數據集L0。

4.根據權利要求1所述的一種異常檢測方法，其特征在于：所述S4中有監督模型(3-2)預測的具體方法為：在訓練好的有監督模型(3-2)上對無標簽數據集U進行預測，由于標簽樣本少，有監督模型(3-2)處于欠擬合狀態，分類結果的混淆矩陣呈現出高精度低召回率的特點，所以預測為異常樣本的置信度高，打標簽為“1”，并集成L1數據集，而預測為正常樣本的置信度更低。

5.根據權利要求2所述的一種異常檢測方法，其特征在于：所述測試集異常點檢測的方法為：在無標簽數據的基礎上，基于測試集，訓練模型為有監督模型(3-2)，進行測試集預測。

6.一種異常檢測檢測系統，其特征在于：所述系統可執行權利要求1-5任一項所述的方法；所述系統包括用于數據集獲取的數據獲取單元(1)，將無監督模型(3-1)與有監督模型(3-2)進行訓練擬合與無標記數據預測的模型預測單元(3)，集成預測后正負樣本集并將回傳數據獲取單元(1)進行數據集更新的訓練集更新單元(4)，用于判斷正負樣本集是否收斂的判斷單元(2)，用于測試集異常點檢測的檢測單元(5)。

7.根據權利要求6所述的檢測系統，其特征在于：還包括請求接受模塊，用于接受終端設備發送的對待預測的數據集進行異常檢測的請求；

控制模塊，用于將異常檢測結果發送給終端設備，并控制終端設備展示所述異常檢測結果。

8.一種計算機設備，其特征在于：包括處理器；

用于存儲處理器可執行指令的存儲器；

其中，所述處理器被配置為：可執行權利要求1-5任一項所述的方法。

9.一種計算機可讀存儲介質，其特征在于：所述計算機可讀存儲介質內存儲有計算機可執行指令，所述計算機可執行指令被處理器執行時，使得所述處理器執行權利要求1-5中任一項所述方法的步驟。