[發明專利]日志處理方法及系統

在審

• 申請號: 201711402638.8
• 申請日: 2017-12-22
• 公開（公告）號: CN108123840A
• 公開（公告）日: 2018-06-05
• 發明（設計）人: 彭佳
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 彭瑞欣;汪源

本發明公開了一種日志處理方法及系統。該日志處理方法包括：采集網絡設備的第一日志數據；根據預設輸入規則對所述第一日志數據進行過濾處理；根據預設根規則對過濾后的第一日志數據進行格式化處理，以將過濾后的第一日志數據的格式轉換為同一數據格式。本發明所提供的日志處理方法及系統，消除了各網絡設備的第一日志數據之間的異構性，并實現了各網絡設備的第一日志數據之間的數據關聯，從而實現了日志數據的實時分析和擴展。

技術領域

本發明涉及通信技術領域，特別涉及一種日志處理方法及系統。

背景技術

近年來，隨著互聯網的高速發展，大量新設備，新技術的使用，使網絡的復雜度也成指數倍提升，因此網絡故障的風險大大加強，從而直接影響到了網絡的質量和用戶體驗。

現有技術中主要通過網絡日志對網絡設備進行監控和分析，但現有技術中的監控和分析方法存在如下問題：

1、由于設備增多，各設備單獨記錄自身運行狀況，導致個別類型的設備雖能正常運行，但由于種種原因，其運行的狀態與系統整體要求不符，從而影響了其他設備的運行，這種情況下無法從網絡日志分析中進行預知。

2、新設備和新技術的采用，且各個技術和設備都有自己的監控和日志系統，導致了各個設備產生大量分散的異構數據，數據彼此無法關聯，造成無法統一歸檔分析和故障預判。

3、由于存在多種異構的日志數據，造成海量數據無法快速存取和實時分析。

發明內容

本發明提供一種日志處理方法及系統，用于消除各網絡設備的日志數據間的異構性，關聯各網絡設備的日志數據，從而實現日志數據的實時分析和擴展。

為實現上述目的，本發明提供一種日志處理方法，該日志處理方法包括：

采集網絡設備的第一日志數據；

根據預設輸入規則對所述第一日志數據進行過濾處理；

根據預設根規則對過濾后的第一日志數據進行格式化處理，以將過濾后的第一日志數據的格式轉換為同一數據格式。

可選地，所述根據預設根規則對過濾后的第一日志數據進行格式化處理，以將各過濾后的第一日志數據的格式轉換為同一數據格式包括：

根據預設根規則對過濾后的第一日志數據進行數據解析處理；

根據預設根規則對解析后的第一日志數據進行格式化處理，以將解析后的第一日志數據的格式轉換為同一數據格式。

可選地，所述對解析后的第一日志數據進行格式化處理，以將解析后的第一日志數據的格式轉換為同一數據格式之后還包括：

根據預設根規則對格式化后的第一日志數據進行數據關聯。

可選地，所述根據預設根規則對格式化后的第一日志數據進行數據關聯包括：

根據格式化后的第一日志數據生成第一日志數據對應的關聯關鍵字集；

根據所述關聯關鍵字集對格式化后的第一日志數據進行數據關聯。

可選地，所述根據預設根規則對過濾后的第一日志數據進行格式化處理，以將各過濾后的第一日志數據的格式轉換為同一數據格式之后還包括：

根據預設輸出規則對關聯后的第一日志數據進行過濾處理，生成第二日志數據；

根據預設預警規則對所述第二日志數據設置預警等級；

將各預警等級對應的第二日志數據存儲至分布式歸檔隊列。

為實現上述目的，本發明提供了一種日志處理系統，該日志處理系統包括：

日志采集模塊，用于采集網絡設備的第一日志數據；