[發(fā)明專利]日志數(shù)據(jù)處理方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310341764.2
• 申請(qǐng)日: 2013-08-07
• 公開(kāi)（公告）號(hào): CN103401937A
• 公開(kāi)（公告）日: 2013-11-20
• 發(fā)明（設(shè)計(jì)）人: 韓冀中;王旻;李勇;張章;孟丹
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院信息工程研究所
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種日志數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)

日志在計(jì)算機(jī)領(lǐng)域是一個(gè)較為寬泛的概念，任何程序都可能輸出日志，例如集群監(jiān)控程序、入侵檢測(cè)程序、Web服務(wù)器程序等。日志的具體格式千差萬(wàn)別，但本質(zhì)上都是事件或行為的記錄，日志通常包括事件主體、發(fā)生時(shí)間、事件內(nèi)容等。日志分析是為了抽取日志數(shù)據(jù)中有價(jià)值的信息，例如檢測(cè)異常事件，并做出相應(yīng)調(diào)控。

在多數(shù)場(chǎng)景下，日志具有數(shù)據(jù)量大、實(shí)時(shí)性強(qiáng)、動(dòng)態(tài)波動(dòng)等特點(diǎn)，為了及時(shí)高效地處理日志，日志分析系統(tǒng)多采用分布式架構(gòu)，即系統(tǒng)中存在多個(gè)發(fā)送端和多個(gè)后端服務(wù)器，發(fā)送端實(shí)時(shí)發(fā)送日志數(shù)據(jù)，后端服務(wù)器接收數(shù)據(jù)進(jìn)行分析處理。為保障系統(tǒng)性能，發(fā)送端和后端服務(wù)器之間需要?jiǎng)討B(tài)負(fù)載均衡機(jī)制。此外，日志分析不能簡(jiǎn)單基于單條日志，而應(yīng)當(dāng)基于一連串相關(guān)的日志序列。為此，發(fā)送端會(huì)對(duì)日志進(jìn)行預(yù)處理標(biāo)記，具有相同標(biāo)識(shí)（ID）的日志必須發(fā)送到相同的后端服務(wù)器處理，稱之為“同源同宿”。如何實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡機(jī)制，并保證同源同宿已經(jīng)成為分布式日志分析的關(guān)鍵問(wèn)題。

傳統(tǒng)負(fù)載均衡一般采用負(fù)載均衡器轉(zhuǎn)發(fā)模式，其結(jié)構(gòu)示意圖如圖1所示，發(fā)送端或客戶端發(fā)送請(qǐng)求到負(fù)載均衡器，負(fù)載均衡器再根據(jù)一定策略向服務(wù)器轉(zhuǎn)發(fā)。負(fù)載均衡器轉(zhuǎn)發(fā)模式面向Web等傳統(tǒng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)，其數(shù)據(jù)特點(diǎn)是請(qǐng)求數(shù)據(jù)量小，響應(yīng)數(shù)據(jù)量大。該模式對(duì)此做出針對(duì)性優(yōu)化，即請(qǐng)求數(shù)據(jù)經(jīng)過(guò)負(fù)載均衡器轉(zhuǎn)發(fā)，響應(yīng)數(shù)據(jù)不經(jīng)過(guò)負(fù)載均衡器，直接返回給發(fā)送端，避免負(fù)載均衡器成為單點(diǎn)瓶頸。

現(xiàn)有日志分析系統(tǒng)仍采用負(fù)載均衡器轉(zhuǎn)發(fā)模式。但是，日志分析的數(shù)據(jù)特點(diǎn)是輸入數(shù)據(jù)量（即請(qǐng)求數(shù)據(jù)量）大、輸出數(shù)據(jù)量（即響應(yīng)數(shù)據(jù)量）小，負(fù)載均衡器轉(zhuǎn)發(fā)模式不能適應(yīng)這一特點(diǎn)，會(huì)導(dǎo)致大量日志數(shù)據(jù)經(jīng)過(guò)負(fù)載均衡器，形成單點(diǎn)瓶頸，嚴(yán)重影響系統(tǒng)的可擴(kuò)展性。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種日志數(shù)據(jù)處理方法及系統(tǒng)，避免傳統(tǒng)負(fù)載均衡器轉(zhuǎn)發(fā)模式中負(fù)載均衡器成為單點(diǎn)瓶頸的影響，提高可擴(kuò)展性。

為解決上述技術(shù)問(wèn)題，本發(fā)明提出了一種日志數(shù)據(jù)處理方法，包括：

步驟一，設(shè)置每個(gè)發(fā)送端都與所有的服務(wù)器相連；

步驟二，發(fā)送端為自身產(chǎn)生的每條日志分配一個(gè)日志標(biāo)識(shí)；

步驟三，發(fā)送端查詢發(fā)送記錄表中是否存在待發(fā)送日志的日志標(biāo)識(shí)，若存在則從發(fā)送記錄表中獲取與該待發(fā)送日志的日志標(biāo)識(shí)對(duì)應(yīng)的服務(wù)器標(biāo)識(shí)，該服務(wù)器標(biāo)識(shí)對(duì)應(yīng)的服務(wù)器即為選擇的服務(wù)器；

步驟四，發(fā)送端將待發(fā)送日志數(shù)據(jù)直接發(fā)送給選擇的服務(wù)器。

進(jìn)一步地，上述日志數(shù)據(jù)處理方法還可具有以下特點(diǎn)，所述步驟三中，若發(fā)送記錄表中不存在待發(fā)送日志的日志標(biāo)識(shí)，則使用服務(wù)器選取函數(shù)為待發(fā)送日志選擇服務(wù)器，所述服務(wù)器選取函數(shù)的輸入為日志標(biāo)識(shí)，輸出為服務(wù)器，此時(shí)所述日志數(shù)據(jù)處理方法還包括：

步驟五，將已發(fā)送日志的日志標(biāo)識(shí)與接收該已發(fā)送日志的服務(wù)器的對(duì)應(yīng)關(guān)系記錄到發(fā)送記錄表中。

進(jìn)一步地，上述日志數(shù)據(jù)處理方法還可具有以下特點(diǎn)，還包括：

步驟六，各個(gè)服務(wù)器定時(shí)向監(jiān)控中心報(bào)告自身的負(fù)載信息

步驟七，監(jiān)控中心判斷各個(gè)服務(wù)器負(fù)載是否均衡；

步驟八，若判斷結(jié)果為不均衡時(shí)，監(jiān)控中心更新服務(wù)器選取函數(shù)，并將更新后的服務(wù)器選取函數(shù)發(fā)送給所有發(fā)送端。

步驟九，發(fā)送端根據(jù)更新后的服務(wù)器選取函數(shù)選擇接收待發(fā)送日志的服務(wù)器。

進(jìn)一步地，上述日志數(shù)據(jù)處理方法還可具有以下特點(diǎn)，所述步驟七包括：

計(jì)算各個(gè)服務(wù)器的加權(quán)負(fù)載值，加權(quán)負(fù)載值等于所有的加權(quán)因素與其加權(quán)因子的乘積之和，所述加權(quán)因素和加權(quán)因子預(yù)先設(shè)定；

獲取最大的加權(quán)負(fù)載值和最小的加權(quán)負(fù)載值；

計(jì)算最大加權(quán)負(fù)載值與最小加權(quán)負(fù)載值的差值；

若所述差值小于0.25，則判定服務(wù)器負(fù)載均衡，否則判定服務(wù)器負(fù)載不均衡。

進(jìn)一步地，上述日志數(shù)據(jù)處理方法還可具有以下特點(diǎn)，步驟八中，更新服務(wù)器選取函數(shù)包括：

計(jì)算1與服務(wù)器的加權(quán)負(fù)載值的差，記為該服務(wù)器的空閑值；

計(jì)算所有服務(wù)器的空閑值的和，記為整體空閑值；

計(jì)算服務(wù)器的空閑值與整體空閑值的商，記為該服務(wù)器的相對(duì)比例，該相對(duì)比例即為服務(wù)器被選取為接收服務(wù)器的比例；

以日志標(biāo)識(shí)為輸入，將日志標(biāo)識(shí)的分布空間劃分為N份，每份的比例與服務(wù)器的相對(duì)比例對(duì)應(yīng)，其中，N為服務(wù)器的個(gè)數(shù)。

為解決上述技術(shù)問(wèn)題，本發(fā)明提出了一種日志數(shù)據(jù)處理系統(tǒng)，包括：