[發(fā)明專利]日志解析的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811094331.0
• 申請(qǐng)日: 2018-09-19
• 公開（公告）號(hào): CN109325009B
• 公開（公告）日: 2021-11-30
• 發(fā)明（設(shè)計(jì)）人: 張春飛;朱仕陽;許峰
• 申請(qǐng)（專利權(quán)）人: 亞信科技（成都）有限公司
• 主分類號(hào): G06F16/18
• 分類號(hào): G06F16/18;G06F16/2455
• 代理公司: 北京中博世達(dá)專利商標(biāo)代理有限公司 11274
• 代理人: 申健

本發(fā)明實(shí)施例公開了一種日志解析的方法及裝置，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，能夠?qū)Ψ墙Y(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)解析，從而使非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，以便后續(xù)的統(tǒng)計(jì)分析。其中，方法包括：獲取原始日志；根據(jù)原始日志的格式，在預(yù)設(shè)配置文件中找到與原始日志的格式對(duì)應(yīng)的目標(biāo)第一匹配規(guī)則；根據(jù)目標(biāo)第一匹配規(guī)則，從第一數(shù)量的數(shù)據(jù)字段中確定第二數(shù)量的目標(biāo)數(shù)據(jù)字段，以及與每個(gè)目標(biāo)數(shù)據(jù)字段對(duì)應(yīng)的字段名稱、索引號(hào)、字段屬性；將第二數(shù)量的目標(biāo)數(shù)據(jù)字段以及每個(gè)目標(biāo)數(shù)據(jù)字段對(duì)應(yīng)的字段名稱、索引號(hào)、字段屬性按照預(yù)設(shè)格式合并，得到解析日志。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種日志解析的方法及裝置。

背景技術(shù)

現(xiàn)有的實(shí)現(xiàn)方案中，不同格式的日志需要使用對(duì)應(yīng)的解析方法進(jìn)行解析。在大數(shù)據(jù)急速發(fā)展的今天，日志格式五花八門，每遇到一種新格式的日志，都需要人工編寫相應(yīng)的解析代碼去解析日志。而且，日志在使用的過程中，其格式經(jīng)常因?yàn)闃I(yè)務(wù)需求有變化而改變，導(dǎo)致日志的解析代碼也需要隨之人為更新維護(hù)，從而需要花費(fèi)大量的時(shí)間成本和人力成本。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種日志解析的方法及裝置，對(duì)不同格式的日志都使用一種通用的方法進(jìn)行解析，從而便于后續(xù)的統(tǒng)計(jì)分析，能夠節(jié)省時(shí)間成本和人力成本。

為達(dá)到上述目的，本申請(qǐng)采用如下技術(shù)方案：

第一方面，本申請(qǐng)?zhí)峁┮环N日志解析的方法，該方法可以包括：獲取原始日志，所述原始日志包括第一數(shù)量的數(shù)據(jù)字段；根據(jù)原始日志的格式，在預(yù)設(shè)配置文件中找到與原始日志的格式對(duì)應(yīng)的目標(biāo)第一匹配規(guī)則；其中，預(yù)設(shè)配置文件包括至少一個(gè)第一匹配規(guī)則，每個(gè)第一匹配規(guī)則中包括至少一個(gè)數(shù)據(jù)字段，以及數(shù)據(jù)字段對(duì)應(yīng)的字段名稱、索引號(hào)和字段屬性；每個(gè)第一匹配規(guī)則用于解析至少一種格式的日志；所述目標(biāo)第一匹配規(guī)則用于解析與所述原始日志格式相同的日志；根據(jù)目標(biāo)第一匹配規(guī)則，從第一數(shù)量的數(shù)據(jù)字段中確定第二數(shù)量的目標(biāo)數(shù)據(jù)字段，以及與每個(gè)目標(biāo)數(shù)據(jù)字段對(duì)應(yīng)的字段名稱、索引號(hào)、字段屬性；將第二數(shù)量的目標(biāo)數(shù)據(jù)字段以及每個(gè)目標(biāo)數(shù)據(jù)字段對(duì)應(yīng)的字段名稱、索引號(hào)、字段屬性按照預(yù)設(shè)格式合并，得到解析日志。

第二方面，本申請(qǐng)?zhí)峁┮环N日志解析的裝置，該裝置包括：獲取模塊和處理模塊。其中，獲取模塊用于獲取原始日志，所述原始日志包括第一數(shù)量的數(shù)據(jù)字段。處理模塊，用于根據(jù)所述原始日志的格式，在預(yù)設(shè)配置文件中找到與所述原始日志的格式對(duì)應(yīng)的目標(biāo)第一匹配規(guī)則；其中，所述預(yù)設(shè)配置文件包括至少一個(gè)第一匹配規(guī)則，每個(gè)第一匹配規(guī)則中包括至少一個(gè)數(shù)據(jù)字段，以及所述數(shù)據(jù)字段對(duì)應(yīng)的字段名稱、索引號(hào)和字段屬性；每個(gè)第一匹配規(guī)則用于解析至少一種格式的日志；所述目標(biāo)第一匹配規(guī)則用于解析與所述原始日志格式相同的日志；所述處理模塊，還用于根據(jù)目標(biāo)第一匹配規(guī)則，從第一數(shù)量的數(shù)據(jù)字段中確定第二數(shù)量的目標(biāo)數(shù)據(jù)字段，以及與每個(gè)目標(biāo)數(shù)據(jù)字段對(duì)應(yīng)的字段名稱、索引號(hào)、字段屬性；所述處理模塊，還用于將第二數(shù)量的目標(biāo)數(shù)據(jù)字段以及每個(gè)目標(biāo)數(shù)據(jù)字段對(duì)應(yīng)的字段名稱、索引號(hào)、字段屬性按照預(yù)設(shè)格式合并，得到解析日志。

第三方面，本申請(qǐng)?zhí)峁┮环N日志解析的裝置，該裝置包括：處理器、收發(fā)器和存儲(chǔ)器。其中，存儲(chǔ)器用于存儲(chǔ)一個(gè)或多個(gè)程序。該一個(gè)或多個(gè)程序包括計(jì)算機(jī)執(zhí)行指令，當(dāng)該裝置運(yùn)行時(shí)，處理器執(zhí)行該存儲(chǔ)器存儲(chǔ)的該計(jì)算機(jī)執(zhí)行指令，以使該裝置執(zhí)行第一方面及其各種可選的實(shí)現(xiàn)方式中任意之一所述的日志解析的方法。

第四方面，本申請(qǐng)?zhí)峁┮环N計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，當(dāng)裝置執(zhí)行該指令時(shí)，該裝置執(zhí)行上述第一方面及其各種可選的實(shí)現(xiàn)方式中任意之一所述的日志解析的方法。

本申請(qǐng)?zhí)峁┑娜罩窘馕龅姆椒ê脱b置，采用配置文件的方式針對(duì)原始日志進(jìn)行解析；抽取指定的數(shù)據(jù)字段后，形成結(jié)構(gòu)化存儲(chǔ)的數(shù)據(jù)格式進(jìn)行存儲(chǔ)；并且我們利用配置文件即可完成非結(jié)構(gòu)化數(shù)據(jù)至結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換；提供一種支持多種格式日志的通用解析方法，這些格式的解析都無需開發(fā)人員進(jìn)行代碼開發(fā)，而是直接配置完成，從而便于后續(xù)的統(tǒng)計(jì)分析，能夠節(jié)省時(shí)間成本和人力成本。

附圖說明