[發明專利]日志聚合的方法和裝置

有效

• 申請號: 200910143731.0
• 申請日: 2009-05-25
• 公開（公告）號: CN101557291A
• 公開（公告）日: 2009-10-14
• 發明（設計）人: 鐘果
• 申請（專利權）人: 杭州華三通信技術有限公司
• 主分類號: H04L9/36
• 分類號: H04L9/36;H04L29/06
• 代理公司: 北京鑫媛睿博知識產權代理有限公司
• 代理人: 龔家驊

技術領域

本發明涉及通信領域，尤其涉及一種日志聚合的方法和裝置。

背景技術

隨著通信技術和計算機技術的迅速發展，各種形式的信息交互越來越頻繁，例如通過計算機網絡的數據報文或多媒體信息交互、通過移動通信網絡的短信或話音交互等等。在信息交互的過程中由于各種各樣的需求，需要對所交互的信息的相關特征進行記錄，例如網絡安全設備為了便于對網絡安全進行監管，需要在每次檢測到入侵報文時，將入侵報文的攻擊特征等信息記錄在相應的文件中，以根據記錄的入侵報文的攻擊特征等信息分析網絡設備的安全情況，采取相應的措施保證網絡設備的安全使用；通信網絡運營商為了統計用戶終端對通信網絡的使用情況，需要將用戶通話或發送短信的號碼、以及通話時間等特征記錄在話單中，進一步根據話單中記錄的用戶通話特征確定用戶應當支付的費用等；上述網絡安全設備用于記錄攻擊特征的文件、或者通信網絡運營商用于記錄用戶通話或短信使用情況的話單、以及其它用于記錄各種形式的交互信息的特征的載體均可稱為“日志”。

在很多情況下，由于信息交互頻繁，例如頻繁的攻擊或者頻繁的通話等，在通信設備上會產生大量的日志，對這些日志進行處理會影響通信設備的其它功能，尤其當大量重復日志需要處理時，可能會導致通信設備的網絡擁塞。因此，為了方便通信設備對日志的管理，需要對所產生的大量重復日志進行聚合，即將多條具有相同特征的日志合成為一條日志，以減少日志的數量，進而降低通信設備進行日志處理的工作量，提高通信設備對日志統計分析的效率。例如，現有技術?中對通信設備檢測到的攻擊報文進行聚合時，攻擊報文的相同特征可以為下述五個方面的參數中的一種或多種：攻擊報文的源IP地址、目的IP地址、源端口、目的端口以及攻擊方向，通信設備檢測到攻擊報文時，根據該攻擊報文上述五個方面的參數的取值將攻擊報文記錄到攻擊日志中，具體的，通信設備將上述五個方面的參數的取值相同的日志作為同一類日志進行聚合，并存儲聚合后的一條日志。

現有技術中，進行日志聚合處理的主要實體結構如圖1所示，包括Array(存儲陣列)、freelink鏈表、datalink鏈表、hashmap以及hashlink鏈表。其中，Array為一系列日志聚合空間，不同的日志聚合空間分別對應不同的日志聚合空間指針，每一日志聚合空間中存儲具有相同日志標識的一類日志。Array中存儲的日志為待聚合的日志對象、或者聚合后的日志對象。當有新的日志對象需要向Array中的某一日志聚合空間內存儲時，日志聚合實體將Array中的該日志聚合空間內的日志對象提出，與新的日志進行聚合，將聚合后的日志對象替代該日志聚合空間內原來存儲的日志對象。Array的長度spacelength等于Array中日志聚合空間的個數，等于與Array相應的日志聚合空間指針的個數。

freelink鏈表和datalink鏈表分別由一系列鏈表節點組成，freelink鏈表的鏈表節點中存儲有系統目前可用的日志聚合空間指針，datalink鏈表的鏈表節點中存儲有系統目前已用的日志聚合空間指針，每一日志聚合空間指針指向Array中一個日志聚合空間；freelink鏈表和datalink鏈表中存儲的日志聚合空間指針的個數和等于Array中日志聚合空間的個數。

hashmap與hashlink鏈表內存儲有日志標識與日志聚合空間的對應關系，用來快速定位具有相同日志標識的日志。其中，日志標識即為多條日志具有的相同特征，例如，信息的來源IP地址、目的IP地址、來源端口、目的端口等。hashmap中存儲日志的來源IP地址(Key，日志標識)與hashlink鏈表頭節點的指針(value)的對應關系。hashlink鏈表的數量為多個，每個hashlink鏈表與一個來源IP地址對應，且每?個hashlink鏈表由一系列節點組成，各節點(包括頭節點)中存儲日志的目的IP地址與日志聚合空間指針的對應關系。具體的，通信設備根據日志的來源IP地址在hashmap中查找相應的hashlink鏈表頭節點的指針，進一步在hashlink鏈表中從hashlink鏈表的頭節點開始依次查找各節點，獲取與日志的目的IP地址相應的日志聚合空間指針，根據該日志聚合空間指針獲取相應的Array中的日志聚合空間的待聚合日志對象，并與新的日志進行聚合，將聚合后的日志對象存儲到原來Array中的日志聚合空間。

利用圖1所示的日志聚合實體結構進行日志聚合的流程如下所示，包括以下步驟：

1、獲取new日志，提取該日志中的日志標識，包括日志的來源IP地址和目的IP地址；