[發(fā)明專利]一種用于對(duì)海量DNS日志進(jìn)行多維統(tǒng)計(jì)分析的方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410606547.6
• 申請(qǐng)日: 2014-10-30
• 公開（公告）號(hào): CN105634845B
• 公開（公告）日: 2019-01-22
• 發(fā)明（設(shè)計(jì)）人: 胡文鵬;劉臣;唐新民;景曉軍;沈智杰
• 申請(qǐng)（專利權(quán)）人: 任子行網(wǎng)絡(luò)技術(shù)股份有限公司
• 主分類號(hào): H04L12/26
• 分類號(hào): H04L12/26;H04L12/24;H04L29/08
• 代理公司: 深圳市順天達(dá)專利商標(biāo)代理有限公司 44217
• 代理人: 郭偉剛

1.一種用于對(duì)海量DNS日志進(jìn)行多維統(tǒng)計(jì)分析的方法，其特征在于，包括如下步驟：

S0、多個(gè)DNS數(shù)據(jù)采集模塊通過(guò)分光鏡像的方式對(duì)記錄及存儲(chǔ)到多臺(tái)DNS服務(wù)器的DNS日志數(shù)據(jù)進(jìn)行實(shí)時(shí)采集，并將采集的DNS日志數(shù)據(jù)輸入DNS數(shù)據(jù)匯總中心；

DNS數(shù)據(jù)匯總中心對(duì)由該多個(gè)DNS數(shù)據(jù)采集模塊輸入的DNS日志數(shù)據(jù)進(jìn)行匯總，并將匯總形成的海量DNS日志數(shù)據(jù)定期上傳到云服務(wù)器；

S1、在海量DNS日志數(shù)據(jù)成功上傳到云服務(wù)器時(shí)接收由云服務(wù)器提交的DNS日志數(shù)據(jù)處理任務(wù)，從云服務(wù)器下載海量DNS日志數(shù)據(jù)，并對(duì)下載的海量DNS日志數(shù)據(jù)作分布式處理；

所述步驟S1中所述從云服務(wù)器下載海量DNS日志數(shù)據(jù)，并對(duì)下載的海量DNS日志數(shù)據(jù)作分布式處理的步驟包括：

S11、將海量DNS日志數(shù)據(jù)處理任務(wù)拆分為由M個(gè)子任務(wù)構(gòu)成的第一任務(wù)隊(duì)列(subjob1，subjob2……subjobM)，并將該第一任務(wù)隊(duì)列(subjob1，subjob2……subjobM)中的M個(gè)子任務(wù)隨機(jī)分配到該M個(gè)分布式文件系統(tǒng)；

S12、指令該M個(gè)分布式文件系統(tǒng)根據(jù)分配到的子任務(wù)分別從云服務(wù)器下載該海量DNS日志數(shù)據(jù)中的其中一部分DNS日志數(shù)據(jù)，并對(duì)該部分DNS日志數(shù)據(jù)進(jìn)行分布式處理；

S2、匯總經(jīng)處理的DNS日志數(shù)據(jù)，并基于給定的多個(gè)維度對(duì)匯總的DNS日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)及分析，生成多維度的DNS日志數(shù)據(jù)統(tǒng)計(jì)及分析結(jié)果，并將該多維度的DNS日志數(shù)據(jù)統(tǒng)計(jì)及分析結(jié)果存入數(shù)據(jù)庫(kù)。

2.根據(jù)權(quán)利要求1所述的用于對(duì)海量DNS日志進(jìn)行多維統(tǒng)計(jì)分析的方法，其特征在于，所述步驟S12中所述M個(gè)分布式文件系統(tǒng)根據(jù)分配到的子任務(wù)分別從云服務(wù)器下載該海量DNS日志數(shù)據(jù)中的其中一部分DNS日志數(shù)據(jù)，并對(duì)該部分DNS日志數(shù)據(jù)進(jìn)行分布式處理的步驟具體包括：

S121、在包含一個(gè)主服務(wù)器及N個(gè)子服務(wù)器的每一個(gè)分布式文件系統(tǒng)中，主服務(wù)器接收到由任務(wù)調(diào)度中心分配的子任務(wù)時(shí)，將該子任務(wù)進(jìn)一步拆分為由N個(gè)執(zhí)行任務(wù)構(gòu)成的第二任務(wù)隊(duì)列(task1，task2……taskN)；

S122、基于MapReduce任務(wù)調(diào)度機(jī)制將該第二任務(wù)隊(duì)列(task1，task2……taskN)中的N個(gè)執(zhí)行任務(wù)分配到該N個(gè)子服務(wù)器，并指令該N個(gè)子服務(wù)器分別從云服務(wù)器下載用于完成各自的執(zhí)行任務(wù)所需的DNS日志數(shù)據(jù)并對(duì)該部分DNS日志數(shù)據(jù)進(jìn)行排重、更新或刪除處理。

3.根據(jù)權(quán)利要求2所述的用于對(duì)海量DNS日志進(jìn)行多維統(tǒng)計(jì)分析的方法，其特征在于，所述步驟S122還包括：

S1221、基于本地?cái)?shù)據(jù)優(yōu)先分配機(jī)制，將每一個(gè)執(zhí)行任務(wù)優(yōu)先分配到存儲(chǔ)有用于處理該執(zhí)行任務(wù)所需的DNS日志數(shù)據(jù)的子服務(wù)器。

4.根據(jù)權(quán)利要求2所述的用于對(duì)海量DNS日志進(jìn)行多維統(tǒng)計(jì)分析的方法，其特征在于，所述步驟S122還包括：

S1222、在對(duì)DNS日志數(shù)據(jù)排重的同時(shí)，判斷該DNS日志數(shù)據(jù)中是否存在解析錯(cuò)誤或解析關(guān)系失效的DNS日志記錄；

如該下載的DNS日志數(shù)據(jù)中存在解析錯(cuò)誤的DNS日志記錄，則對(duì)所下載的DNS日志數(shù)據(jù)中的該條解析錯(cuò)誤的DNS日志記錄進(jìn)行更正；

如該下載的DNS日志數(shù)據(jù)中存在解析關(guān)系失效的DNS日志記錄，則將所下載的DNS日志數(shù)據(jù)中的該條解析關(guān)系失效的DNS日志記錄進(jìn)行刪除。