[發明專利]一種用于大型服務器集群的日志集群掃描與分析方法

有效

• 申請號: 201510028382.3
• 申請日: 2015-01-20
• 公開（公告）號: CN104917627B
• 公開（公告）日: 2018-06-19
• 發明（設計）人: 鄔正平;范淵
• 申請（專利權）人: 杭州安恒信息技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F17/30
• 代理公司: 杭州中成專利事務所有限公司 33212
• 代理人: 周世駿

本發明涉及系統監控與系統管理領域，旨在提供一種用于大型服務器集群的日志集群掃描與分析方法。該種用于大型服務器集群的日志集群掃描與分析方法包括單機日志分析、集群日志分析、日志集群分析和日志數據交換。本發明具有單機日志處理的簡單性，統一化處理后單機和集群日志交換高效性，“推”“拉”日志交互協議的及時性，集群日志關聯分析的全面性，事件庫結構的綜合性和高效性，事件預測的準確性。

技術領域

本發明是關于系統監控與系統管理領域，特別涉及一種用于大型服務器集群的日志集群掃描與分析方法。

背景技術

在各種云計算服務日益普及到千家萬戶、超級計算助推國家絕大多數核高基項目的今天，服務器集群的穩定與安全成為這一新型計算模式成功的關鍵。而集群內部的掃描與分析是提供這種穩定性與安全性最及時和可靠的途徑。

首先，現有的日志分析方法專注于單機節點日志的聚攏和統一管理，如專利CN103856354A“一種集群存儲系統日志統一管理實現方法”和CN102724063A“日志采集服務器及數據包分發、日志聚類方法及網絡”中所述的方法。這類方法忽略了單機服務器本身的篩選、分類以及為集群統一監控提供可能的前期預測和即時狀況確認的能力。

其次，現有云計算服務器日志管理則專注于單機物理服務器上的日志分類、篩選，并為管理員的手動維護提供方便，如專利CN103475535A“云計算服務器日志管理系統”和CN102594598A“一種日志管理系統及其實現方法”中所描述的技術。這類技術忽略了基于服務器集群整體的統一管理和監控調度，不利于發揮服務器集群特別是大型服務器集群的整體資源整合與共享。

所以目前仍沒有一個系統的技術來支撐日志集群的統一掃描與整體分析，以得到當前狀況及未來運行趨勢的方法或技術。服務器集群的各種日志可以提供關于整個集群平臺運行狀況最及時、最全面的信息。

發明內容

本發明的主要目的在于克服現有技術中的不足，提供一種能夠充分利用單機服務器上最及時的日志信息以及一種“推”“拉”結合的高效日志數據交換協議來全面實時地監控和預警整個平臺的穩定性和安全性的技術。為解決上述技術問題，本發明的解決方案是：

提供一種用于大型服務器集群的日志集群掃描與分析方法，包括：

(一)單機日志分析；

(二)集群日志分析；

(三)日志集群分析；

(四)日志數據交換；

(一)單機日志分析包括日志事件的統一化處理和事件快速分類，且單機日志分析在每一單機物理服務器上進行；

所述日志事件的統一化處理的具體步驟為：

步驟A：來源標識：記錄每一日志事件(日志事件是指日志里包含的單個事件)產生的物理服務器在集群內的唯一標識，以及產生該日志事件的虛擬服務器標識；其中，所述虛擬服務器是指運行在物理服務器虛擬化軟件上的服務器個體；

步驟B：時間戳生成：將物理服務器和虛擬服務器的即時時間戳與對應的標識綁定，并生成相應的兩個服務器簽名；

所述事件快速分類具體是指：根據來源的軟硬件層級和預定義的嚴重程度，將所有日志事件分入不同的集合，并存入對應的文件(每一個集合對應一個文件)；且若日志事件的嚴重程度超過預先定義的程度，則將該日志事件作為緊急事件推送至日志集群分析；

(二)集群日志分析包括整體事件的關聯處理和集群事件的來源分析，且集群日志分析在集群主管機上進行；所述集群主管機是指集群內用于管理的物理服務器(集群主管機通常不提供服務而專用于管理)；