[發(fā)明專利]一種用于大型服務(wù)器集群的日志集群掃描與分析方法

有效

• 申請?zhí)枺?/td>: 201510028382.3
• 申請日: 2015-01-20
• 公開（公告）號: CN104917627B
• 公開（公告）日: 2018-06-19
• 發(fā)明（設(shè)計）人: 鄔正平;范淵
• 申請（專利權(quán)）人: 杭州安恒信息技術(shù)有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F17/30
• 代理公司: 杭州中成專利事務(wù)所有限公司 33212
• 代理人: 周世駿

1.一種用于大型服務(wù)器集群的日志集群掃描與分析方法，其特征在于，包括：

(一)單機(jī)日志分析；

(二)集群日志分析；

(三)日志集群分析；

(四)日志數(shù)據(jù)交換；

(一)單機(jī)日志分析包括日志事件的統(tǒng)一化處理和事件快速分類，且單機(jī)日志分析在每一單機(jī)物理服務(wù)器上進(jìn)行；

所述日志事件的統(tǒng)一化處理的具體步驟為：

步驟A：來源標(biāo)識：記錄每一日志事件產(chǎn)生的物理服務(wù)器在集群內(nèi)的唯一標(biāo)識，以及產(chǎn)生該日志事件的虛擬服務(wù)器標(biāo)識；其中，所述虛擬服務(wù)器是指運行在物理服務(wù)器虛擬化軟件上的服務(wù)器個體；

步驟B：時間戳生成：將物理服務(wù)器和虛擬服務(wù)器的即時時間戳與對應(yīng)的標(biāo)識綁定，并生成相應(yīng)的兩個服務(wù)器簽名；

所述事件快速分類具體是指：根據(jù)來源的軟硬件層級和預(yù)定義的嚴(yán)重程度，將所有日志事件分入不同的集合，并存入對應(yīng)的文件；且若日志事件的嚴(yán)重程度超過預(yù)先定義的程度，則將該日志事件作為緊急事件推送至日志集群分析；

(二)集群日志分析包括整體事件的關(guān)聯(lián)處理和集群事件的來源分析，且集群日志分析在集群主管機(jī)上進(jìn)行；所述集群主管機(jī)是指集群內(nèi)用于管理的物理服務(wù)器；

所述整體事件的關(guān)聯(lián)處理具體包括：1、通過比較集群整體日志事件時間戳之間的相互關(guān)系，建立整體日志事件之間的關(guān)系，包括先后、并發(fā)；2、通過比較集群整體日志事件來源的軟硬件層級，建立整體日志事件之間的因果關(guān)系；

所述集群事件的來源分析具體是指：記錄導(dǎo)致集群日志事件的物理服務(wù)器列表；

(三)日志集群分析用于集群中各類日志的歸總以及集群平臺當(dāng)前和未來運行狀況的預(yù)測，具體包括下述步驟：

步驟C：事件庫的建立或更新：當(dāng)出現(xiàn)集群日志事件需要進(jìn)行集群日志分析，或者有緊急事件從單機(jī)日志分析推送至日志集群分析，作為第一個集群事件，則觸發(fā)建立事件庫；建有事件庫后，當(dāng)出現(xiàn)集群日志事件需要進(jìn)行集群日志分析，或者有緊急事件從單機(jī)日志分析推送至日志集群分析，則觸發(fā)更新事件庫；

其中，所述事件庫存儲于集群主管機(jī)的一個數(shù)據(jù)庫中；

步驟D：事件庫統(tǒng)計：每一次進(jìn)行步驟C中的事件庫更新時，計算事件庫中對應(yīng)事件在特定時間窗口內(nèi)的出現(xiàn)次數(shù)，并重新計算事件庫中每一事件的出現(xiàn)頻率；

其中，所述特定時間窗口的初始大小預(yù)先設(shè)定，并能自動調(diào)整大小；

步驟E：事件庫建模：建立基于事件頻率、事件來源以及依賴關(guān)系的事件庫模型，用于表達(dá)不同事件之間的因果關(guān)系或先后關(guān)系；其中，所述事件頻率通過步驟D獲得，所述事件來源通過步驟A和集群日志分析中的集群事件的來源分析獲得，所述依賴關(guān)系通過集群日志分析中的整體事件的關(guān)聯(lián)處理獲得；

事件庫模型存儲在哈希鏈表樹中，樹形結(jié)構(gòu)的父子指針表示依賴關(guān)系中的因果關(guān)系或先后關(guān)系，樹節(jié)點內(nèi)存儲事件頻率和事件來源，事件索引由哈希鏈表表示；

步驟F：事件模式識別：利用模式識別方法，對步驟E建立的事件庫模型中的信息進(jìn)行模式的建立和識別，并記錄所有顯示較強(qiáng)統(tǒng)計意義的事件模式，用于為集群平臺緊急狀況監(jiān)測和預(yù)警提供依據(jù)；

其中，所述模式識別方法包括主元分析、貝葉斯決策理論方法；所述模式識別的依據(jù)是事件來源、事件頻率和事件關(guān)系；所述顯示較強(qiáng)統(tǒng)計意義的事件模式是指超過設(shè)定值的事件模式，包括出現(xiàn)次數(shù)超過設(shè)定值的事件模式、出現(xiàn)頻率超過設(shè)定值的事件模式、以一個緊急事件結(jié)束的事件模式；

步驟G：集群平臺運行狀況預(yù)警：當(dāng)步驟F中識別出顯示較強(qiáng)統(tǒng)計意義的事件模式并記錄時，發(fā)出平臺運行狀況警告通知，同時對顯示較強(qiáng)統(tǒng)計意義的事件模式的日志條目進(jìn)行記錄；

步驟H：集群平臺未來事件預(yù)測：根據(jù)步驟E中建立的事件庫模型，預(yù)測將來可能發(fā)生的事件，并發(fā)出針對可能發(fā)生的緊急事件的預(yù)告通知；

(四)日志數(shù)據(jù)交換用于實現(xiàn)日志數(shù)據(jù)在單機(jī)物理服務(wù)器和集群主管機(jī)之間進(jìn)行交換，集群主管機(jī)通過集群日志分析獲得日志數(shù)據(jù)，單機(jī)物理服務(wù)器和集群主管機(jī)通過推送與查詢相結(jié)合的交互協(xié)議進(jìn)行交換日志數(shù)據(jù)；

推送的方法具體是指：單機(jī)物理服務(wù)器通過單機(jī)日志分析獲得日志數(shù)據(jù)后，即時將緊急事件及其相關(guān)信息推送并匯總到集群主管機(jī)，并定期將部分統(tǒng)計信息匯總到集群主管機(jī)；其中，單機(jī)物理服務(wù)器進(jìn)行定期匯總的匯總頻率，由系統(tǒng)根據(jù)集群內(nèi)部可使用通信帶寬的情況自動調(diào)整；

查詢的方法具體是指：集群主管機(jī)在發(fā)出步驟G中的平臺運行狀況警告通知、發(fā)出步驟H中的針對可能發(fā)生的緊急事件的預(yù)告通知前，向單機(jī)物理服務(wù)器以查詢的方式確認(rèn)相關(guān)信息。