[發(fā)明專利]一種日志查找的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201611111748.4
• 申請(qǐng)日: 2016-12-06
• 公開（公告）號(hào): CN106649627B
• 公開（公告）日: 2019-09-17
• 發(fā)明（設(shè)計(jì)）人: 鄒初建;汪少杰
• 申請(qǐng)（專利權(quán)）人: 杭州迪普科技股份有限公司
• 主分類號(hào): G06F16/14
• 分類號(hào): G06F16/14;G06F16/18
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

1.一種日志查找的方法，其特征在于，包括：

收集單位時(shí)長(zhǎng)內(nèi)產(chǎn)生的日志文件生成日志文件集合；

針對(duì)所述日志文件集合中，每一預(yù)設(shè)的時(shí)長(zhǎng)周期內(nèi)指定字段的字段取值均相同的日志文件分別進(jìn)行匯聚，生成對(duì)應(yīng)于各預(yù)設(shè)時(shí)長(zhǎng)周期的若干匯聚子文件，并基于生成的所述若干匯聚子文件生成匯聚文件；其中，所述匯聚文件包括索引信息，以及與所述索引信息對(duì)應(yīng)的匯聚文件內(nèi)容；所述索引信息包括若干個(gè)分別對(duì)應(yīng)于各時(shí)長(zhǎng)周期的索引字段；所述索引字段用于記錄對(duì)應(yīng)的時(shí)長(zhǎng)周期內(nèi)的匯聚子文件相對(duì)于所述匯聚文件內(nèi)容的偏移值；所述匯聚文件內(nèi)容由對(duì)應(yīng)于各時(shí)長(zhǎng)周期的匯聚子文件組成；

當(dāng)接收到針對(duì)指定時(shí)段內(nèi)的目標(biāo)日志的查找請(qǐng)求時(shí)，從所述索引信息中查找與所述指定時(shí)間段對(duì)應(yīng)的索引字段；

基于該索引字段記錄的偏移值從所述匯聚文件內(nèi)容中讀取與該索引字段對(duì)應(yīng)的匯聚子文件；

所述指定字段預(yù)設(shè)了統(tǒng)計(jì)順序，基于所述統(tǒng)計(jì)順序，針對(duì)讀取到的匯聚子文件中各指定字段的字段取值進(jìn)行多級(jí)統(tǒng)計(jì)，包括：從所述指定時(shí)段內(nèi)的若干匯聚子文件中依次讀取目標(biāo)匯聚子文件；根據(jù)該目標(biāo)匯聚子文件中各日志的第一指定字段的字段取值，在與所述第一指定字段對(duì)應(yīng)的第一結(jié)構(gòu)數(shù)組記錄的字段取值中，查找對(duì)應(yīng)的字段取值；根據(jù)該目標(biāo)匯聚子文件中各日志中記錄的相同日志的數(shù)量，將與該字段取值對(duì)應(yīng)的計(jì)數(shù)器進(jìn)行累加，并基于該第一結(jié)構(gòu)數(shù)組中預(yù)設(shè)的指針跳轉(zhuǎn)至與第二指定字段對(duì)應(yīng)的第二結(jié)構(gòu)數(shù)組；根據(jù)該目標(biāo)匯聚子文件中各日志的第二指定字段的字段取值，繼續(xù)在與第二結(jié)構(gòu)數(shù)組記錄的字段取值中，查找對(duì)應(yīng)的字段取值，并在第二結(jié)構(gòu)數(shù)組記錄的字段取值中查找到對(duì)應(yīng)的字段取值時(shí)，根據(jù)該目標(biāo)匯聚子文件中各日志記錄的相同日志的數(shù)量，將與該字段取值對(duì)應(yīng)的計(jì)數(shù)器進(jìn)行累加，以此類推，直到該目標(biāo)匯聚子文件中各日志的所有指定字段的字段取值，根據(jù)與其對(duì)應(yīng)的結(jié)構(gòu)數(shù)組，完成各指定字段的字段取值的統(tǒng)計(jì)；

其中，所述各指定字段分別預(yù)設(shè)了對(duì)應(yīng)的結(jié)構(gòu)數(shù)組，所述結(jié)構(gòu)數(shù)組中記錄了對(duì)應(yīng)的指定字段、所包含的若干種不同類型的字段取值、以及與各字段取值分別對(duì)應(yīng)的計(jì)數(shù)器；

對(duì)所述多級(jí)統(tǒng)計(jì)的統(tǒng)計(jì)結(jié)果進(jìn)行排序。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對(duì)所述日志文件集合中，每一預(yù)設(shè)的時(shí)長(zhǎng)周期內(nèi)指定字段的字段取值均相同的日志文件分別進(jìn)行匯聚，生成對(duì)應(yīng)于各預(yù)設(shè)時(shí)長(zhǎng)周期的若干匯聚子文件，包括：

提取所述日志文件集合中的各日志文件對(duì)應(yīng)于所述指定字段的字段取值，并基于提取到的字段取值針對(duì)各日志文件執(zhí)行初步匯聚；其中，初步匯聚后的各日志文件僅包括對(duì)應(yīng)于所述指定字段的字段取值；

基于預(yù)設(shè)的時(shí)長(zhǎng)周期，將初步匯聚后的各日志文件劃分為對(duì)應(yīng)于各時(shí)長(zhǎng)周期的若干個(gè)日志文件子集；

將各日志文件子集中相同的日志文件分別進(jìn)行合并，生成對(duì)應(yīng)的匯聚子文件；其中，所述匯聚子文件中記錄了所述相同的日志文件的數(shù)量，以及與該匯聚子文件所屬的日志文件子集對(duì)應(yīng)的時(shí)長(zhǎng)周期的起始時(shí)刻。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于生成的所述若干匯聚子文件生成匯聚文件，還包括：

計(jì)算各匯聚子文件的文件長(zhǎng)度；

基于所述文件長(zhǎng)度計(jì)算各匯聚子文件相對(duì)于所述匯聚文件內(nèi)容的偏移值；

在所述索引信息中與該匯聚子文件對(duì)應(yīng)的索引字段中記錄該匯聚子文件的偏移值；

將所述索引信息以及所述匯聚子文件進(jìn)行合并，生成匯聚文件。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述多級(jí)統(tǒng)計(jì)的統(tǒng)計(jì)結(jié)果進(jìn)行排序，包括：

當(dāng)所述指定時(shí)段內(nèi)的所有匯聚子文件中各日志基于各指定字段的字段取值，根據(jù)與其對(duì)應(yīng)的結(jié)構(gòu)數(shù)組，完成各指定字段的字段取值的統(tǒng)計(jì)后，針對(duì)與各指定字段對(duì)應(yīng)的結(jié)構(gòu)數(shù)組中的計(jì)數(shù)器的計(jì)數(shù)值，對(duì)所述指定時(shí)段內(nèi)的所有匯聚子文件中各指定字段的字段取值進(jìn)行排序。