[發明專利]基于日志事件關系生成KPI曲線并標記波段特征的方法

有效

• 申請號: 202210292597.6
• 申請日: 2022-03-24
• 公開（公告）號: CN114398898B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 戴曦;尹立超;徐旭朝
• 申請（專利權）人: 三峽智控科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/216;G06F40/194;G06F16/35
• 代理公司: 武漢宇晨專利事務所(普通合伙) 42001
• 代理人: 龐寬

本發明公布了基于日志事件關系生成KPI曲線并標記波段特征的方法，根據日志中事件的關系先生成日志KPI曲線，再將KPI曲線分割為若干段等長的波段，根據波段的非時間維度聚類成多個簇，提取各個簇的基波，比較各個簇的各波段數據與基波的相似度，找出各個簇的分組邊界線，將各個簇的各波段數據分組，提取各簇中連續同類波段的總時間長度，取總時間長度的最大值作為滑動窗口寬度。該窗口用于分割KPI曲線，使分割后的各窗口中波段容易聚類歸類，利于將對整KPI曲線的迅速成由不同類型波段組成的波段鏈，然后對單獨監測指標的KPI曲線進行周期檢測和類型檢測標記標簽，再利用該窗口分割單獨的KPI曲線，利用基波KPI曲線內的波段進行分組加標簽。

技術領域

本發明涉及人工智能技術領域，尤其涉及基于日志事件關系生成KPI曲線并標記波段特征的方法。

背景技術

異常點檢測(又稱為離群點檢測)是找出其行為不同于預期對象的一個檢測過程，這些對象被稱為異常點或者離群點。異常檢測方式通常包括基于統計的模型、基于距離的模型、線性變換的模型、非線性變換的模型、機器學習的模型等。

KPI(key performance indicators)指的是對服務、系統等對象的監控指標 (如網絡中的延遲、吞吐量等)。其存儲的形式是按其發生的時間先后順序排列而成的數列，也就是我們通常所說的時間序列。時間序列的異常檢測就是通過歷史的數據分析，查看當前的數據是否發生了明顯偏離了正常的情況。KPI 數據異常檢測有著十分重要的意義：通過實時的監控KPI數據，發現KPI數據存在的異常，及時進行相應處理，從而保證應用的正常運行。

通過對KPI數據設置閾值來進行實時異常檢測的方法十分普遍，然而針對系統日志進行實時異常檢測的方法還沒有公開報道。

傳統機器學習為了追求有效性，大多采用監督學習方式，在實踐中異常標注難以批量獲得，通過海量有標注的數據樣本提高模型輸出的準確度，因而需要大量業務專家進行人工標注KPI曲線，往往需要反反復復調整矯正，耗時耗力，實際中可能需要同時開始監控幾百萬、幾千萬的KPI，因此，現實中的異常檢測實踐中往往無法找到某一種算法可以同時滿足上述要求，無法同時解決上面的挑戰；而非監督學習常用聚類等技術，主要用于特征發現，數據探索等場景，因為缺乏標注，其結果需要數據科學家進行解釋才能抽象的映射到業務模式，并不能直接作用結果；弱監督在具體的實現中因為分階段的引入非監督/監督方法，循環遞歸的提升準確性，顯得過于學術，落地困難，另一方面為了融合具體方法，需要采用向量表達來統一不同方法間的表示，結果不容易應用人員理解。

數據量越多，業務場景越復雜，引入的方式越復雜，需要投入成本/人力就越來越多樣化。這種循環直接限制了機器學習在全行業的推廣，而集中在收益較高的行業，而導致常規行業只采用放棄抵抗，被動防守，依靠全行業平均水平來倒灌，實現業務場景遷移，具體如下：如果一個方法在其他行業特別有效，人員已經富余后借用一下觀察效果，如果可行在考慮使用。而工業應用場景就是這種被動防守的行業之一。

發明內容

本發明的第一個目的是提供一種基于日志事件關系生成KPI曲線并標記波段特征的方法，處理工業控制系統中監測指標產生的文本日志，將高度相關的事件合并成同一個分組，產生與被監控的指標的KPI曲線周期性相關的日志KPI曲線。

本發明的技術方案是：基于日志事件關系生成KPI曲線的方法，其步驟包括：

步驟F1.設置訓練句子組成的訓練句子集，同一工控系統中工控設備基于監測指標獲得故障日志，將故障日志中的語料分別與各訓練句子組成待處理句子對，并計算相似度，刪除相似度低于閾值一的語料；

步驟F3.對步驟F2中的剩余語料進行分詞，生成由多個特征詞組成的分詞隊列，并對多個特征詞標注詞性，獲得語料的詞性隊列；