[發(fā)明專利]日志分析方法、裝置、終端設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811195730.6
• 申請(qǐng)日: 2018-10-15
• 公開(kāi)（公告）號(hào): CN109408330A
• 公開(kāi)（公告）日: 2019-03-01
• 發(fā)明（設(shè)計(jì)）人: 謝新強(qiáng);張霞;紀(jì)勇;黃治綱
• 申請(qǐng)（專利權(quán)）人: 東軟集團(tuán)股份有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F11/34;G06F16/16;G06F16/17
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 朱穎;劉芳

本發(fā)明提供的日志分析方法、裝置、終端設(shè)備及可讀存儲(chǔ)介質(zhì)，通過(guò)按照存儲(chǔ)時(shí)間對(duì)讀取的日志文件進(jìn)行拆分，獲得未分析的增量日志數(shù)據(jù)，已分析的歷史日志數(shù)據(jù)以及其分析結(jié)果；對(duì)所述增量日志數(shù)據(jù)進(jìn)行分析，獲得所述增量日志數(shù)據(jù)的分析結(jié)果；按照預(yù)設(shè)規(guī)則對(duì)所述增量日志數(shù)據(jù)的分析結(jié)果和所述歷史日志數(shù)據(jù)的分析結(jié)果進(jìn)行處理，獲得日志文件的分析結(jié)果，從而使得在對(duì)日志進(jìn)行分析時(shí)，僅需對(duì)增量日志數(shù)據(jù)進(jìn)行分析，并將增量日志數(shù)據(jù)的分析結(jié)果和存儲(chǔ)的歷史日志數(shù)據(jù)的分析結(jié)果進(jìn)行整合處理，以得到最終的分析結(jié)果，其相對(duì)于現(xiàn)有的日志分析方法，其分析數(shù)據(jù)量大大降低，進(jìn)而降低了分析時(shí)間，提高分析效率，也更有效的利用了分析資源。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析技術(shù)，尤其涉及一種日志分析方法、裝置、終端設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，計(jì)算機(jī)的應(yīng)用越來(lái)越廣泛。特別的，當(dāng)用戶通過(guò)計(jì)算機(jī)訪問(wèn)互聯(lián)網(wǎng)或通過(guò)計(jì)算機(jī)使用應(yīng)用時(shí)，互聯(lián)網(wǎng)服務(wù)器或應(yīng)用服務(wù)器會(huì)產(chǎn)生大量的日志數(shù)據(jù)，這些日志數(shù)據(jù)記錄著用戶的訪問(wèn)內(nèi)容、訪問(wèn)時(shí)間等信息。對(duì)這些日志數(shù)據(jù)進(jìn)行分析能夠有效為開(kāi)發(fā)者和運(yùn)行商提供服務(wù)器運(yùn)行狀態(tài)的反饋信息和市場(chǎng)的需求導(dǎo)向信息，有利于提高服務(wù)器的服務(wù)質(zhì)量。

在現(xiàn)有技術(shù)中，日志數(shù)據(jù)是存儲(chǔ)在數(shù)據(jù)服務(wù)器中的，在對(duì)日志數(shù)據(jù)進(jìn)行分析時(shí)，需要讀取全部的日志數(shù)據(jù)，并對(duì)其進(jìn)行匯聚，以實(shí)現(xiàn)對(duì)日志數(shù)據(jù)的分析。但是，由于日志數(shù)據(jù)的數(shù)據(jù)極大，在每次的日志數(shù)據(jù)分析需對(duì)存儲(chǔ)的全部的日志數(shù)據(jù)進(jìn)行分析，這使得其所需的分析時(shí)間較長(zhǎng)，效率較低。同時(shí)，由于在每次分析時(shí)，部分日志數(shù)據(jù)是前一次分析時(shí)的日志數(shù)據(jù)是相同的，即對(duì)這部分日志數(shù)據(jù)的分析是重復(fù)的，也就是說(shuō)，現(xiàn)有技術(shù)中對(duì)同一日志數(shù)據(jù)將進(jìn)行多次分析，進(jìn)一步降低了分析效率。

發(fā)明內(nèi)容

針對(duì)上述提及的現(xiàn)有日志數(shù)據(jù)的分析中，在每一次的日志數(shù)據(jù)分析均是針對(duì)存儲(chǔ)的全部日志數(shù)據(jù)進(jìn)行的，其分析所需時(shí)間較長(zhǎng)，分析效率較低的問(wèn)題，本發(fā)明提供了一種日志分析方法、裝置、終端設(shè)備及可讀存儲(chǔ)介質(zhì)。

一方面，本發(fā)明提供了一種日志分析方法，包括：

按照存儲(chǔ)時(shí)間對(duì)讀取的日志文件進(jìn)行拆分，獲得未分析的增量日志數(shù)據(jù)，已分析的歷史日志數(shù)據(jù)以及其分析結(jié)果；

對(duì)所述增量日志數(shù)據(jù)進(jìn)行分析，獲得所述增量日志數(shù)據(jù)的分析結(jié)果；

按照預(yù)設(shè)規(guī)則對(duì)所述增量日志數(shù)據(jù)的分析結(jié)果和所述歷史日志數(shù)據(jù)的分析結(jié)果進(jìn)行處理，獲得日志文件的分析結(jié)果。

在其中一種可選的實(shí)施方式中，所述獲得日志文件的分析結(jié)果之后，還包括：

存儲(chǔ)所述日志文件的分析結(jié)果以及所述日志文件的分析結(jié)果的存儲(chǔ)時(shí)間；

所述存儲(chǔ)的所述日志文件的分析結(jié)果作為下一次日志分析的歷史日志數(shù)據(jù)的分析結(jié)果，將當(dāng)前的日志數(shù)據(jù)作為下一次的已分析的歷史日志數(shù)據(jù)。

在其中一種可選的實(shí)施方式中，所述未分析的增量日志數(shù)據(jù)和所述已分析的歷史日志數(shù)據(jù)中分別包括屬性信息和數(shù)據(jù)類型；

所述按照預(yù)設(shè)規(guī)則對(duì)所述增量日志數(shù)據(jù)的分析結(jié)果和所述歷史日志數(shù)據(jù)的分析結(jié)果進(jìn)行加權(quán)處理，包括：

根據(jù)所述增量日志數(shù)據(jù)的數(shù)據(jù)類型確定與其具備相同數(shù)據(jù)類型的歷史日志數(shù)據(jù)以及分析結(jié)果；

根據(jù)所述增量日志數(shù)據(jù)的屬性信息確定預(yù)設(shè)規(guī)則，并對(duì)所述增量日志數(shù)據(jù)的分析結(jié)果和所述歷史日志數(shù)據(jù)的分析結(jié)果進(jìn)行處理，所述預(yù)設(shè)規(guī)則包括加權(quán)處理規(guī)則和合并處理規(guī)則。

在其中一種可選的實(shí)施方式中，所述按照存儲(chǔ)時(shí)間對(duì)獲取的日志文件進(jìn)行拆分之前，包括：

按照預(yù)設(shè)的時(shí)間間隔檢測(cè)日志文件中是否存儲(chǔ)有增量數(shù)據(jù)；

若是，則讀取所述日志文件，并執(zhí)行按照存儲(chǔ)時(shí)間對(duì)讀取的日志文件進(jìn)行拆分的步驟。