[發明專利]一種電力信息系統多源日志數據處理方法

在審

• 申請號: 202010030016.2
• 申請日: 2020-01-13
• 公開（公告）號: CN111274218A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 何東;張辰;饒涵宇;徐海青;徐唯耀;陳是同;吳小華;董媛媛;吳立剛;浦正國;張彬彬;胡心穎;郭慶;張鵬飛
• 申請（專利權）人: 國網浙江省電力有限公司信息通信分公司;安徽繼遠軟件有限公司;國網信息通信產業集團有限公司;國家電網有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/28;G06K9/62;G06Q50/06
• 代理公司: 合肥維可專利代理事務所(普通合伙) 34135
• 代理人: 吳明華

本發明公開了一種電力信息系統多源日志數據處理方法，包括采集日志數據，用于獲取多種來源不同的日志數據，并將采集的每條日志信息掃描分割成字段序列存儲到數據庫中，日志數據來源包括網絡設備日志，安全設備日志和系統日志；數據預處理，用于去除冗余數據獲取有效數據，將網絡設備日志，安全設備日志和系統日志去除冗余數據并分別存儲到對應的數據庫中；關聯融合多源日志數據，根據采集到的網絡設備日志，安全設備日志和系統日志數據庫中的日志數據建立關聯規則庫。其中在數據預處理中，為了去除不在研究范圍內的冗余數據，采用模糊聚類算法將日志數據分類，模糊聚類方法將日志數據不確定的劃分到類別中，更加符合實際情況。

技術領域

本發明涉及電力系統日志分析技術領域，特別是涉及一種電力信息系統多源日志數據處理方法。

背景技術

日志信息能夠全方位的記錄系統的運行，大量的事件和攻擊，用于分析網絡態勢很重要，但在日志分析中也會因為一些日志本身的原因帶來很多不便和缺陷，在多源日志分析中主要的關鍵點和難點如下：

(1)不同數據源的日志信息格式不同。在結合多種數據源的日志進行分析時不得不面對不同格式的日志數據，不同數據源的日志不僅格式有差異，存儲的方式等也會有區別。有的日志信息能夠輕易理解但也有部分日志信息不容易理解，所以如何在對多源日志信息綜合分析時將所有日志的字段都理解清楚是多源日志分析的關鍵問題。

(2)需要分析的日志數據量大。無論是哪一個來源的日志記錄在時間的積累下都會積累成一個龐大的信息量，當結合了多個數據源中的日志數據后，需要分析的日志量將會非常龐大，如何快速的篩選出所需的信息并進行處理也是一個難點。

(3)數據對準。不同的來源的日志信息提供的內容是根據自身的參數設置產生的，要將不同的信息結合起來分析就需要將它們放入同一個參數體系中，這時屬性歸并刪減和數據對準就是至關重要的問題。

(4)矛盾信息。因為每個設備、應用的功能不同，在對同一網絡環境進行測量時，可能因為一些噪聲的原因產生虛假的信息導致不同來源的日志結論大相徑庭，如何處理這些虛假信息并將正確信息有效的融合將是一個關鍵問題。

發明內容

針對上述現有技術存在的問題，本發明提供了一種電力信息系統多源日志數據處理方法，包括：

步驟1：采集日志數據，用于獲取多種來源不同的日志數據，并將采集的每條日志信息掃描分割成字段序列存儲到數據庫中，日志數據來源包括網絡設備日志，安全設備日志和系統日志；

步驟2：數據預處理，用于去除冗余數據獲取有效數據，將網絡設備日志，安全設備日志和系統日志去除冗余數據并分別存儲到對應的數據庫中；

步驟3：關聯融合多源日志數據，根據采集到的網絡設備日志，安全設備日志和系統日志數據庫中的日志數據建立關聯規則庫。

作為上述方案的進一步優化，所述多源日志數據預處理包括：

去除每條日志信息的多余屬性數據：每種來源的日志數據，根據預設需要保留的屬性字段，通過正則表達式匹配的方式將每條日志信息中的需要保留的屬性字段提取出來存儲；

去除屬性值超范圍的日志信息：根據對某一屬性的屬性值預設的范圍，濾除超范圍的數據；

將不同來源的日志數據統一格式，根據預設的統一格式中每條日志信息需要的屬性，將所有日志數據轉換為相同格式；

作為上述方案的進一步優化，所述去除屬性值超范圍的日志信息，先將去除多余屬性數據后的數據通過模糊聚類方法分類，分類完成后：

將主機系統日志按照事件類型模糊分類，保留事件類型為錯誤，審核失敗和警告的日志數據；

將安全設備日志按事件嚴重程度模糊分類，保留事件嚴重程度為攻擊和可疑的事件；