[發明專利]一種電力信息系統多源日志數據處理方法

在審

• 申請號: 202010030016.2
• 申請日: 2020-01-13
• 公開（公告）號: CN111274218A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 何東;張辰;饒涵宇;徐海青;徐唯耀;陳是同;吳小華;董媛媛;吳立剛;浦正國;張彬彬;胡心穎;郭慶;張鵬飛
• 申請（專利權）人: 國網浙江省電力有限公司信息通信分公司;安徽繼遠軟件有限公司;國網信息通信產業集團有限公司;國家電網有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/28;G06K9/62;G06Q50/06
• 代理公司: 合肥維可專利代理事務所(普通合伙) 34135
• 代理人: 吳明華

1.一種電力信息系統多源日志數據處理方法，其特征在于：包括：

步驟1：采集日志數據，用于獲取多種來源不同的日志數據，并將采集的每條日志信息掃描分割成字段序列存儲到數據庫中，日志數據來源包括網絡設備日志，安全設備日志和系統日志；

步驟2：數據預處理，用于去除冗余數據獲取有效數據，將網絡設備日志，安全設備日志和系統日志去除冗余數據并分別存儲到對應的數據庫中；

步驟3：關聯融合多源日志數據，根據采集到的網絡設備日志，安全設備日志和系統日志數據庫中的日志數據建立關聯規則庫。

2.根據權利要求1所述的一種電力信息系統多源日志數據處理方法，其特征在于：所述多源日志數據預處理包括：

去除每條日志信息的多余屬性數據：每種來源的日志數據，根據預設需要保留的屬性字段，通過正則表達式匹配的方式將每條日志信息中的需要保留的屬性字段提取出來存儲；

去除屬性值超范圍的日志信息：根據對某一屬性的屬性值預設的范圍，濾除超范圍的數據；

將不同來源的日志數據統一格式，根據預設的統一格式中每條日志信息需要的屬性，將所有日志數據轉換為相同格式。

3.根據權利要求2所述的一種電力信息系統多源日志數據處理方法，其特征在于：所述去除屬性值超范圍的日志信息，先將去除多余屬性數據后的數據通過模糊聚類方法分類，分類完成后：

將主機系統日志按照事件類型模糊分類，保留事件類型為錯誤，審核失敗和警告的日志數據；

將安全設備日志按事件嚴重程度模糊分類，保留事件嚴重程度為攻擊和可疑的事件；

將網絡設備日志按照事件嚴重程度模糊分類，保留嚴重級別為emergency、alert、critical、error和warnings的事件。

4.根據權利要求3所述的一種電力信息系統多源日志數據處理方法，其特征在于：所述通過模糊聚類方法分類具體為：

4.1、將采集的日志數據記為X＝{x1,x2,x3,.....xn},其中xi是用保留下的屬性對應的屬性值組成的向量數據；

4.2、根據矩陣X獲取每兩條日志數據的相似度，得到相似矩陣R，其中計算相似度采用夾角余弦法；

4.3、根據相似矩陣R采用傳遞閉包法獲取等價矩陣，采用公式為：R^2k＝(R^2k)²，R^2k為傳遞閉包；

4.4、根據等價矩陣，取λ∈[0，1]，獲得日志數據的不同λ值下的聚類結果，根據實際情況判斷最符合實際的λ以及聚類結果。

5.根據權利要求1所述的一種電力信息系統多源日志數據處理方法，其特征在于：所述關聯融合多源日志數據具體為：

將統一格式后的日志數據按照發生時間排列，按照預設時間間隔設置滑動時間窗口，將日志數據劃分到不同的滑動時間窗口中，對每個滑動時間窗口中的發生事件，獲取事件發生的前提條件和造成的結果，組成每個發生事件的關聯規則表單。