[發(fā)明專利]一種日志報(bào)表的統(tǒng)計(jì)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911423087.2
• 申請(qǐng)日: 2019-12-31
• 公開（公告）號(hào): CN111159129A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 董澤奎;鄭彬;陳亮;梁大祥;古來
• 申請(qǐng)（專利權(quán)）人: 北京神州綠盟信息安全科技股份有限公司;北京神州綠盟科技有限公司
• 主分類號(hào): G06F16/18
• 分類號(hào): G06F16/18;G06F16/2458
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 鄧靈

本發(fā)明公開了一種日志報(bào)表的統(tǒng)計(jì)方法及裝置，在該方法中，首先以統(tǒng)計(jì)業(yè)務(wù)中被作為統(tǒng)計(jì)對(duì)象的概率較低的字段作為歸并點(diǎn)，對(duì)該多個(gè)日志進(jìn)行歸并處理，然后在歸并后的日志上根據(jù)第一統(tǒng)計(jì)業(yè)務(wù)的需求，查詢與該第一統(tǒng)計(jì)業(yè)務(wù)的統(tǒng)計(jì)對(duì)象對(duì)應(yīng)的字段，從而得到與第一統(tǒng)計(jì)業(yè)務(wù)對(duì)應(yīng)的日志報(bào)表。由于對(duì)日志進(jìn)行歸并處理后，可以減少日志的數(shù)量，這樣，在獲取與統(tǒng)計(jì)業(yè)務(wù)對(duì)應(yīng)的日志報(bào)表時(shí)，可以減少所需要查詢的日志的數(shù)量，從而可以保證該統(tǒng)計(jì)方式的時(shí)延較小，且該統(tǒng)計(jì)方式可以在任意的存儲(chǔ)系統(tǒng)中使用，即不需要配置分布式存儲(chǔ)系統(tǒng)，可以降低成本，實(shí)現(xiàn)了提供一種成本低且時(shí)延較小的日志報(bào)表的統(tǒng)計(jì)方式。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種日志報(bào)表的統(tǒng)計(jì)方法及裝置。

背景技術(shù)

企業(yè)安全中心是一個(gè)設(shè)備管理平臺(tái)，用于存儲(chǔ)企業(yè)中每個(gè)設(shè)備的日志，例如防火墻日志、入侵防火日志或者流量日志等，并基于所存儲(chǔ)的日志，對(duì)企業(yè)中的各個(gè)設(shè)備進(jìn)行統(tǒng)一管理和監(jiān)控分析，以保證企業(yè)的信息安全。

基于所存儲(chǔ)的日志對(duì)設(shè)備進(jìn)行監(jiān)控分析，包括按需對(duì)日志進(jìn)行報(bào)表統(tǒng)計(jì)的過程。例如，可以對(duì)某個(gè)設(shè)備的流量日志進(jìn)行統(tǒng)計(jì)，獲取該設(shè)備在預(yù)設(shè)時(shí)間段內(nèi)的總流量報(bào)表；或者，可以對(duì)某個(gè)設(shè)備的防火墻日志進(jìn)行統(tǒng)計(jì)，獲取該設(shè)備在預(yù)設(shè)時(shí)間段內(nèi)被攔截的次數(shù)報(bào)表等。

由于企業(yè)中的設(shè)備數(shù)量較多，且隨著設(shè)備的使用時(shí)間越久，產(chǎn)生的日志也會(huì)越來越多，因此，對(duì)大量的日志中進(jìn)行報(bào)表統(tǒng)計(jì)所需的時(shí)延較大。為了減少時(shí)延，采用的一種方式是：將企業(yè)中每個(gè)設(shè)備的日志存儲(chǔ)到分布式存儲(chǔ)系統(tǒng)中，這樣，可以利用分布式存儲(chǔ)系統(tǒng)的分布式計(jì)算能力，實(shí)現(xiàn)快速查詢，從而得到所需的日志報(bào)表。

然而，上述方式雖然能夠較快地得到日志報(bào)表，但是該方式中需要配置分布式存儲(chǔ)系統(tǒng)，硬件資源消耗較大，從而導(dǎo)致通過此種方式對(duì)日志進(jìn)行統(tǒng)計(jì)的成本較高。可見，需要一種成本低且時(shí)延較小的日志報(bào)表的統(tǒng)計(jì)方式。

發(fā)明內(nèi)容

本發(fā)明提供一種日志報(bào)表的統(tǒng)計(jì)方法及裝置，用以提供一種成本低且時(shí)延較小的日志報(bào)表的統(tǒng)計(jì)方式，解決現(xiàn)有技術(shù)中日志報(bào)表的統(tǒng)計(jì)方式造成的成本高的問題。

本發(fā)明第一方面提供了一種日志報(bào)表的統(tǒng)計(jì)方法，所述方法包括：

確定用于對(duì)存儲(chǔ)的多個(gè)日志進(jìn)行歸并處理的第一字段，所述第一字段為被作為統(tǒng)計(jì)業(yè)務(wù)的統(tǒng)計(jì)對(duì)象的概率低于閾值的字段；

以所述第一字段為歸并點(diǎn)，以剩余字段為歸并條件，對(duì)所述多個(gè)日志進(jìn)行歸并處理，得到日志組，所述日志組中包括至少一個(gè)歸并后的日志，所述剩余字段為所述多個(gè)日志所包括的多個(gè)字段中除所述第一字段外的字段；

獲取第一統(tǒng)計(jì)業(yè)務(wù)，所述第一統(tǒng)計(jì)業(yè)務(wù)包括對(duì)所述多個(gè)日志進(jìn)行報(bào)表統(tǒng)計(jì)的第一統(tǒng)計(jì)對(duì)象；

查詢所述日志組的每個(gè)日志中與所述第一統(tǒng)計(jì)對(duì)象對(duì)應(yīng)的字段的取值，得到與所述第一統(tǒng)計(jì)業(yè)務(wù)對(duì)應(yīng)的日志報(bào)表。

在一種可能的實(shí)施方式中，所述多個(gè)日志均為流量日志，所述第一字段為流量字段，以所述第一字段為歸并點(diǎn)，以剩余字段為歸并條件，對(duì)所述多個(gè)日志進(jìn)行歸并處理，得到日志組，包括：

從所述多個(gè)日志中確定第一日志和第二日志，所述第一日志和所述第二日志中分別包括的所述剩余字段中除所述流量字段之外的其他字段的取值均相同；

將所述第一日志和所述第二日志分別包括的流量字段的取值進(jìn)行求和處理，得到求和處理后的日志；

根據(jù)所述求和處理后的日志和所述多個(gè)日志中未進(jìn)行所述求和處理的日志，得到所述日志組。

在一種可能的實(shí)施方式中，所述多個(gè)日志均為流量日志，所述第一字段為流量字段和時(shí)間字段，以所述第一字段為歸并點(diǎn)，以剩余字段為歸并條件，對(duì)所述多個(gè)日志進(jìn)行歸并處理，得到日志組，包括：