[發(fā)明專利]一種用于對海量DNS日志進行多維統(tǒng)計分析的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410606547.6
• 申請日: 2014-10-30
• 公開（公告）號: CN105634845B
• 公開（公告）日: 2019-01-22
• 發(fā)明（設(shè)計）人: 胡文鵬;劉臣;唐新民;景曉軍;沈智杰
• 申請（專利權(quán)）人: 任子行網(wǎng)絡(luò)技術(shù)股份有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/24;H04L29/08
• 代理公司: 深圳市順天達(dá)專利商標(biāo)代理有限公司 44217
• 代理人: 郭偉剛

本發(fā)明公開了一種用于對海量DNS日志進行多維統(tǒng)計分析的方法及系統(tǒng)。所述系統(tǒng)包括依次連接的多個DNS數(shù)據(jù)采集模塊、DNS數(shù)據(jù)匯總中心、云服務(wù)器、DNS日志處理中心、DNS日志統(tǒng)計分析中心及數(shù)據(jù)庫。所述DNS數(shù)據(jù)匯總中心用于接收及匯總由所述多個DNS數(shù)據(jù)采集模塊采集的DNS日志數(shù)據(jù)，并將匯總形成的海量DNS日志數(shù)據(jù)定期上傳到所述云服務(wù)器。所述DNS日志處理中心用于接收由所述云服務(wù)器提交的DNS日志數(shù)據(jù)處理任務(wù)，從所述云服務(wù)器下載海量DNS日志數(shù)據(jù)，對該海量DNS日志數(shù)據(jù)進行分布式處理。所述DNS日志統(tǒng)計分析中心用于基于給定的多個維度對經(jīng)處理的DNS日志數(shù)據(jù)進行統(tǒng)計及分析，生成多維度的DNS日志數(shù)據(jù)統(tǒng)計及分析結(jié)果，并將所得DNS日志數(shù)據(jù)統(tǒng)計及分析結(jié)果存入所述數(shù)據(jù)庫。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)統(tǒng)計技術(shù)領(lǐng)域，更具體地說，涉及一種用于對海量DNS日志進行多維統(tǒng)計分析的方法及系統(tǒng)。

背景技術(shù)

在數(shù)據(jù)統(tǒng)計領(lǐng)域，普遍采用基于數(shù)據(jù)庫或文件索引的數(shù)據(jù)統(tǒng)計方案。該方案在數(shù)據(jù)量小的情況下，通常做法是先將數(shù)據(jù)入庫，再對數(shù)據(jù)進行更新，最后基于不同維度對更新數(shù)據(jù)進行統(tǒng)計及分析。該方案的缺陷在于：隨著入庫數(shù)據(jù)規(guī)模的大幅增長，數(shù)據(jù)入庫效率逐漸降低，數(shù)據(jù)處理效率急劇下降，對于大數(shù)據(jù)的多維統(tǒng)計分析也將愈發(fā)困難。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)的上述缺陷，提供一種用于對海量DNS日志進行多維統(tǒng)計分析的方法及系統(tǒng)。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：構(gòu)造一種用于對海量DNS日志進行多維統(tǒng)計分析的方法，包括如下步驟：

S1、在海量DNS日志數(shù)據(jù)成功上傳到云服務(wù)器時接收由云服務(wù)器提交的DNS日志數(shù)據(jù)處理任務(wù)，從云服務(wù)器下載海量DNS日志數(shù)據(jù)，并對下載的海量DNS日志數(shù)據(jù)作分布式處理；

S2、匯總經(jīng)處理的DNS日志數(shù)據(jù)，并基于給定的多個維度對匯總的DNS日志數(shù)據(jù)進行統(tǒng)計及分析，生成多維度的DNS日志數(shù)據(jù)統(tǒng)計及分析結(jié)果，并將該多維度的DNS日志數(shù)據(jù)統(tǒng)計及分析結(jié)果存入數(shù)據(jù)庫。

在本發(fā)明上述用于對海量DNS日志進行多維統(tǒng)計分析的方法中，在所述步驟S1之前還包括如下步驟：

S0、多個DNS數(shù)據(jù)采集模塊通過分光鏡像的方式對記錄及存儲到多臺DNS服務(wù)器的DNS日志數(shù)據(jù)進行實時采集，并將采集的DNS日志數(shù)據(jù)輸入DNS數(shù)據(jù)匯總中心；

DNS數(shù)據(jù)匯總中心對由該多個DNS數(shù)據(jù)采集模塊輸入的DNS日志數(shù)據(jù)進行匯總，并將匯總形成的海量DNS日志數(shù)據(jù)定期上傳到云服務(wù)器。

在本發(fā)明上述用于對海量DNS日志進行多維統(tǒng)計分析的方法中，所述步驟S1中所述從云服務(wù)器下載海量DNS日志數(shù)據(jù)，并對下載的海量DNS日志數(shù)據(jù)作分布式處理的步驟包括：

S11、將海量DNS日志數(shù)據(jù)處理任務(wù)拆分為由M個子任務(wù)構(gòu)成的第一任務(wù)隊列(subjob1，subjob2……subjobM)，并將該第一任務(wù)隊列(subjob1，subjob2……subjobM)中的M個子任務(wù)隨機分配到該M個分布式文件系統(tǒng)；

S12、指令該M個分布式文件系統(tǒng)根據(jù)分配到的子任務(wù)分別從云服務(wù)器下載該海量DNS日志數(shù)據(jù)中的其中一部分DNS日志數(shù)據(jù)，并對該部分DNS日志數(shù)據(jù)進行分布式處理。

在本發(fā)明上述用于對海量DNS日志進行多維統(tǒng)計分析的方法中，所述步驟S12中所述M個分布式文件系統(tǒng)根據(jù)分配到的子任務(wù)分別從云服務(wù)器下載該海量DNS日志數(shù)據(jù)中的其中一部分DNS日志數(shù)據(jù)，并對該部分DNS日志數(shù)據(jù)進行分布式處理的步驟具體包括：

S121、在包含一個主服務(wù)器及N個子服務(wù)器的每一個分布式文件系統(tǒng)中，主服務(wù)器在接收到由任務(wù)調(diào)度中心分配的子任務(wù)時，將該子任務(wù)進一步拆分為由N個執(zhí)行任務(wù)構(gòu)成的第二任務(wù)隊列(task 1，task 2……task N)；