[發明專利]海量日志信息的處理方法、裝置與系統

有效

• 申請號: 201310021400.6
• 申請日: 2013-01-21
• 公開（公告）號: CN103942210B
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 孫樂;孫一凱;邱曉波;王曉東
• 申請（專利權）人: 中國移動通信集團上海有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 郭潤湘

技術領域

本發明涉及數據處理技術的，尤其是涉及一種海量日志信息的處理方法、裝置與系統。

背景技術

對于業務支撐網運營管理系統來說，隨著支撐網絡和業務的復雜性和多元性逐漸加強，業務監控的粒度也越來越細，由此產生的服務日志信息量越來越多，特別是業務服務日志的數據量更大。一個通信運營商一天的業務服務日志可能會超過200G，而且這些業務服務日志分布在幾十臺服務器上。同時，業務監控中心對告警信息的實時性要求越來越高。如何快速完成日志的采集、提煉處理、存儲、高效查詢成為業務支撐網運營管理系統關注的重點。

目前，針對日志信息的采集方法主要有兩種方式來實現：

采集方法一：集中處理服務器（或稱為服務器）上的處理程序通過Telnet采集（即遠程控制命令采集）分布在各個日志服務器上的日志信息，或者通過日志服務器上的代理程序將日志信息收集到集中處理服務器上；集中處理服務器上的處理程序根據日志提煉規則或者提煉邏輯進行日志的提煉處理。

采集方法二：各個日志服務器（或稱為客戶端）對自身的日志數據進行凈化處理，凈化處理包括對日志信息的抽取、合并和保存等操作過程，并將凈化處理后的日志數據上傳到集中處理服務器，集中處理服務器將收到的日志數據文件根據時間周期合并為一個文件，進行提煉處理。

現有技術針對日志信息的存儲和操作通過以下兩種方式來解決：

存儲和操作方法一：當日志信息提煉完成后，根據需要的要素保持到磁盤關系型數據庫，通過SQL語句進行統計分析、告警信息過濾采集，通過標準SQL提供對外的查詢；

存儲和操作方法二：當日志信息提煉后，保存到文件中，提供相關的通用接口，通過對文件全量的掃描，提供對外的統計處理服務。

從上述采集方法中可以看出，現有的日志信息采集方法存在以下缺陷：

采集方法一存在顯著日志處理性能瓶頸，集中處理服務器采集到的各個日志服務器上的日志信息中包括大量無效的日志信息，傳輸這些無效的日志信息占用了大量的網絡傳輸帶寬，極大地影響了日志信息的采集速度和采集周期；更重要的是，隨著業務日志達到一定規模，無效的日志信息對集中服務器處理壓力就變得更為顯著，這樣就造成集中處理服務器上的處理邏輯越來越復雜，處理日志信息、輸出日志信息中的告警信息的及時性得不到保證；

采集方法二雖然在日志服務器上先對日志進行凈化，凈化處理包括抽取、合并和保存等操作過程，這就使得凈化處理延長了日志信息采集的周期，同樣極大地影響了日志信息的采集速度；以及在后續集中服務器對日志信息的存儲查詢處理中，輸出日志信息中的告警信息的及時性得不到保證。

從上述存儲查詢方法中可以看出，現有的存儲操作方法存在以下缺陷：

存儲和操作方法一：將提煉處理后的日志信息保存在磁盤關系型數據庫（比如Oracle）中，通過SQL語句對其中的海量數據進行檢索和查詢，對于復雜的數據分析場景，往往需要對多張大表做笛卡爾集合后再關聯查詢，造成等待響應的時間過長，無法滿足對日志信息中的告警信息及時輸出的要求；

存儲和操作方法二：處理后的數據保存在文件中，通常文件根據時間段來組織的。故后續的分析處理，一般會對一個文件全量進行掃描處理，顯然查詢和分析處理的效率比較低，也無法滿足對日志信息中的告警信息及時輸出的要求。

可見，現有的針對海量日志信息的采集處理和存儲查詢處理方法，存在采集周期過長、無效日志信息占用過多傳輸帶寬的問題，對海量日志信息的查詢和統計處理的處理時間長、效率低，無法滿足對日志信息中的告警信息及時輸出的要求的問題。

發明內容

本發明實施例提供一種海量日志信息的處理方法、裝置與系統，用以解決現有技術中針對海量日志信息的采集處理和存儲查詢處理方法，存在采集周期過長、無效日志信息占用過多傳輸帶寬的問題，對海量日志信息的操作處理時間長、效率低，無法滿足對日志信息中的告警信息及時輸出的要求的問題。

本發明實施例技術方案如下：

一種海量日志信息的處理方法，包括：日志客戶端采集日志客戶端上新增的日志信息；按照預定的過濾規則對采集到的日志信息中的數據進行過濾；根據預定的日志信息和實時性等級的對應關系，在過濾后的日志信息中攜帶與日志信息相對應的實時性等級的實時性標識；根據日志信息中的實時性標識，將實時性標識所代表的高實時性的日志信息實時發送給日志服務器，將實時性標識所代表的低實時性的日志信息延后發送給日志服務器。