[發(fā)明專利]針對(duì)無格式日志的在線解析方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110042680.3
• 申請(qǐng)日: 2021-01-13
• 公開（公告）號(hào): CN112732655A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 王高杰;王智民
• 申請(qǐng)（專利權(quán)）人: 北京六方云信息技術(shù)有限公司
• 主分類號(hào): G06F16/16
• 分類號(hào): G06F16/16;G06F16/18;G06F16/13;G06F16/14
• 代理公司: 北京潤(rùn)平知識(shí)產(chǎn)權(quán)代理有限公司 11283
• 代理人: 肖冰濱;王曉曉

本發(fā)明提供一種針對(duì)無格式日志的在線解析方法及系統(tǒng)，屬于計(jì)算機(jī)技術(shù)領(lǐng)域。所述方法包括：日志預(yù)處理，將接收到的日志處理為分組模板；模板聚合，將所述日志分組模板進(jìn)行聚合分類，根據(jù)聚合分類結(jié)果更新日志對(duì)應(yīng)的預(yù)設(shè)特征模板。所述在線解析系統(tǒng)應(yīng)用所述的針對(duì)無格式日志的在線解析方法，該系統(tǒng)包括：日志預(yù)處理單元，用于將接收到的日志處理為分組模板；模板聚合單元，用于將所述日志分組模板進(jìn)行聚合分類，根據(jù)聚合分類結(jié)果更新日志對(duì)應(yīng)的預(yù)設(shè)特征模板。該方法無需對(duì)日志格式提前了解就可以根據(jù)日志時(shí)間實(shí)時(shí)對(duì)日志模板進(jìn)行解析，同時(shí)對(duì)非固定長(zhǎng)度的日志模板進(jìn)行準(zhǔn)確解析，提高解析的準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體地涉及一種針對(duì)無格式日志的在線解析方法以及一種針對(duì)無格式日志的在線解析系統(tǒng)。

背景技術(shù)

大規(guī)模系統(tǒng)通常會(huì)生成日志來記錄系統(tǒng)狀態(tài)和運(yùn)行時(shí)的信息，每個(gè)日志都包含了時(shí)間戳和指示發(fā)生了什么事件的日志信息。這些有價(jià)值的日志信息經(jīng)過日志解析后，可以使用機(jī)器學(xué)習(xí)的方法來進(jìn)行異常檢測(cè)，及時(shí)發(fā)現(xiàn)系統(tǒng)中的異常事件。

每個(gè)日志消息由相應(yīng)系統(tǒng)開發(fā)人員編寫的一種日志語(yǔ)句打印，并記錄一個(gè)特定的系統(tǒng)事件。開發(fā)人員編寫的自由文本消息內(nèi)容通常很難結(jié)構(gòu)化，因?yàn)樗怯沙Ａ孔址妥兞恐到M成的。常量部分取決于日志消息的事件模板，在不同事件發(fā)生時(shí)保持固定。變量部分?jǐn)y帶感興趣的動(dòng)態(tài)運(yùn)行時(shí)信息(即參數(shù))，這些信息在不同的事件發(fā)生之間可能有所不同。日志解析的目標(biāo)是將每個(gè)日志消息轉(zhuǎn)換為參數(shù)和與之相關(guān)聯(lián)的特定事件模板。

日志解析的傳統(tǒng)方法，是基于關(guān)鍵字匹配對(duì)日志進(jìn)行解析和識(shí)別。更具體地說，每個(gè)日志消息都可以被解析成帶有一些日志頭如日期、級(jí)別以及包含參數(shù)(可變部分)的事件模板(固定部分)。如日志消息：2020-04-28 20:15:54INFO Received block blk_321ofsize 67108864from 10.251.126.5:50010，被解析成為時(shí)間、級(jí)別和事件，事件模板為Received block*of size*from*。這種傳統(tǒng)方法在面臨復(fù)雜系統(tǒng)和多樣性以及變化性的日志時(shí)十分低效。

2017年《Drain：An Online Log Parsing Approach with Fixed DepthTree.pdf》論文中提到的固定深度樹自動(dòng)算法，基于相同日志模板的日志長(zhǎng)度相同的假設(shè)，先將日志根據(jù)長(zhǎng)度分類，再根據(jù)固定深度的(默認(rèn)使用第一個(gè))標(biāo)記(token)繼續(xù)分類，最后在類內(nèi)根據(jù)相似度閾值的方法進(jìn)行分組，得到不同分組的日志模板。這種計(jì)算方法最大的缺陷是其假設(shè)不成立，即：相同日志模板產(chǎn)生的日志長(zhǎng)度未必相同。例如兩個(gè)事件：

s1＝Command DropTable Failed on:node-127

s2＝Command UpdateIndex Failed on:node-235node-236

事件s1和s2的日志模板均為Command*Failed on:*，其參數(shù)長(zhǎng)度可變，而非屬于兩個(gè)不同的日志模板。Drain(depth tree based online log parsing，基于深度樹的在線日志解析)在處理這樣的參數(shù)長(zhǎng)度可變事件時(shí)并不能夠準(zhǔn)確的解析，會(huì)將本應(yīng)屬于同一日志模板的事件劃分為不同的日志模板，增加了系統(tǒng)模板的數(shù)量，降低了解析準(zhǔn)確度。

發(fā)明內(nèi)容

本發(fā)明實(shí)施方式的目的是提供一種針對(duì)無格式日志的在線解析方法及系統(tǒng)，該方法無需對(duì)日志格式提前了解就可以根據(jù)日志時(shí)間實(shí)時(shí)對(duì)日志模板進(jìn)行解析，同時(shí)對(duì)非固定長(zhǎng)度的日志模板進(jìn)行準(zhǔn)確解析，提高解析的準(zhǔn)確度。

為了實(shí)現(xiàn)上述目的，本發(fā)明第一方面提供一種針對(duì)無格式日志的在線解析方法，所述方法包括：

日志預(yù)處理，對(duì)接收到的日志進(jìn)行預(yù)處理，得到日志分組模板；

模板聚合，將所述日志分組模板進(jìn)行聚合分類，根據(jù)聚合分類結(jié)果更新日志對(duì)應(yīng)的預(yù)設(shè)特征模板。