[發(fā)明專利]分布式日志的搜索方法和裝置

在審

• 申請?zhí)枺?/td>: 201710556329.X
• 申請日: 2017-07-10
• 公開（公告）號: CN107291942A
• 公開（公告）日: 2017-10-24
• 發(fā)明（設(shè)計）人: 魏曉菁;王繼業(yè);曾楠;王晉雄;郝悍勇;李云;孫磊;王思寧;冷曼;尹琴
• 申請（專利權(quán)）人: 國家電網(wǎng)公司;北京國電通網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京風(fēng)雅頌專利代理有限公司11403
• 代理人: 陳宙

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)信息技術(shù)領(lǐng)域，特別是指一種分布式日志的搜索方法和裝置。

背景技術(shù)

云計算環(huán)境中分布式部署了大量的物理設(shè)備、業(yè)務(wù)系統(tǒng)，同時，也部署了運維，安全管理等的平臺監(jiān)控、管理系統(tǒng)，日志信息成為平臺監(jiān)控、管理的重要手段，海量的、來自不同設(shè)備、系統(tǒng)的分布式日志信息需要被多個系統(tǒng)使用，平臺中一旦設(shè)備出現(xiàn)問題，日志信息就成為排查故障，預(yù)防故障的重要手段。

由于云計算數(shù)據(jù)中心內(nèi)物理設(shè)備、業(yè)務(wù)系統(tǒng)的數(shù)據(jù)很多，不同設(shè)備、系統(tǒng)使用不同協(xié)議產(chǎn)生自身的日志信息，目前的一種日志信息搜索與采集的方法，流程如圖1所示，包括如下步驟：

S101：將不同來源的日志信息存儲在存儲系統(tǒng)中，將不同類型及不同來源的日志信息進(jìn)行解析，保存成為統(tǒng)一字符編碼的日志文件。

S102：對統(tǒng)一字符編碼的日志文件進(jìn)行切分。

S103：對切分后的日志信息進(jìn)行索引操作，根據(jù)日志內(nèi)的關(guān)鍵屬性，日志搜索系統(tǒng)從非結(jié)構(gòu)化日志數(shù)據(jù)中提取數(shù)據(jù)，并重新組織成為日志信息索引。

S104：根據(jù)形成的日志信息索引進(jìn)行日志檢索，得到所需要的日志信息。

在實際應(yīng)用中，本發(fā)明的發(fā)明人發(fā)現(xiàn)，現(xiàn)有的日志信息搜索方法具有如下缺點：

由于保存的日志文件均統(tǒng)一字符編碼，無法保留原始日志文件，而原始日志中不符合正則表達(dá)式匹配的日志行則被丟棄，因此，保存下來的可能只是部分的日志信息；此外，保存的統(tǒng)一字符編碼的日志文件是一堆Josn格式的文本，技術(shù)人員無法閱讀，不利于技術(shù)人員根據(jù)搜索結(jié)果快速判斷故障。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提出一種分布式日志的搜索方法和裝置，可以基于保存的原始日志文件進(jìn)行搜索，避免日志信息在保存過程中被丟棄，且搜索出來的日志技術(shù)人員可以直接閱讀，便于技術(shù)人員根據(jù)搜索結(jié)果快速作出判斷。

基于上述目的本發(fā)明提供一種分布式日志的搜索方法，包括：

確定用戶選擇的指標(biāo)篩選器的模式；

接收用戶輸入的基于該模式的篩選條件；

運行所述模式的指標(biāo)篩選器，所述指標(biāo)篩選器根據(jù)所述篩選條件對采集于分布式網(wǎng)絡(luò)中的日志進(jìn)行搜索，得出符合條件的日志。

其中，所述指標(biāo)篩選器的模式包括：

字詞匹配模式；

空格分隔的日志事件的值匹配模式；

屬性標(biāo)記的日志事件的值匹配模式。

其中，所述指標(biāo)篩選器的模式為字詞匹配模式時，所述篩選條件包括：

一個或多個用戶輸入的待匹配的字或詞。

其中，所述指標(biāo)篩選器的模式為空格分隔的日志事件的值匹配模式時，所述篩選條件包括：

以特殊字符分隔的多個日志事件的屬性名稱，一個或多個日志事件的取值，以及同一個日志事件的取值和屬性名稱之間的運算符。

其中，所述指標(biāo)篩選器的模式為空格分隔的日志事件的值匹配模式時，所述篩選條件包括：

以特殊字符分隔的一個省略符號，一個或多個日志事件的屬性名稱，一個或多個日志事件的取值，以及同一個日志事件的取值和屬性名稱之間的運算符；

其中，所述省略符號位于各日志事件的屬性名稱之前，或位于各日志事件的屬性名稱之后，或位于兩個各日志事件的屬性名稱之間。

其中，所述指標(biāo)篩選器的模式為屬性標(biāo)記的日志事件的值匹配模式時，所述篩選條件包括：

至少一個屬性匹配單元；在一個屬性匹配單元中包括：指定的屬性、運算符，以及該屬性的取值；

對于包括多個屬性匹配單元的情況下，各屬性匹配單元之間的邏輯運算符。

本發(fā)明還提供一種分布式日志的搜索裝置，包括：

模式選擇模塊，用于確定用戶選擇的指標(biāo)篩選器的模式；

篩選條件輸入模塊，用于接收用戶輸入的基于該模式的篩選條件；

篩選器運行模塊，用于運行所述模式的指標(biāo)篩選器，所述指標(biāo)篩選器根據(jù)所述篩選條件對采集于分布式網(wǎng)絡(luò)中的日志進(jìn)行搜索，得出符合條件的日志。

本發(fā)明實施例的技術(shù)方案中，基于幾種模式的指標(biāo)篩選器，可以針對分布式網(wǎng)絡(luò)中不同來源，不同格式的日志，以及不同的搜索需求進(jìn)行搜索。這樣，就不必將不同格式的日志進(jìn)行統(tǒng)一轉(zhuǎn)換，既避免了轉(zhuǎn)換步驟，又可以避免轉(zhuǎn)換過程中日志信息的丟棄；而搜索出的符合條件的日志為原始日志，通常技術(shù)人員可以直接閱讀而獲取所需要的信息。

附圖說明

圖1為現(xiàn)有技術(shù)的日志信息搜索與采集方法的流程圖；