[發(fā)明專利]互聯(lián)網(wǎng)信息統(tǒng)計(jì)方法及系統(tǒng)

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201310127492.6
• 申請(qǐng)日: 2013-04-12
• 公開(kāi)（公告）號(hào): CN103200269A
• 公開(kāi)（公告）日: 2013-07-10
• 發(fā)明（設(shè)計(jì)）人: 余效偉;羅峰;黃蘇支;李娜
• 申請(qǐng)（專利權(quán)）人: 億贊普（北京）科技有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;G06F17/30;H04L29/12
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 馬曉亞

1.一種互聯(lián)網(wǎng)信息統(tǒng)計(jì)方法，其特征在于，包括：

S1、按照業(yè)務(wù)主題將用戶網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù)通過(guò)MapReduce劃分成多個(gè)業(yè)務(wù)主題數(shù)據(jù)集，其中，所述用戶網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù)為用戶跨網(wǎng)訪問(wèn)數(shù)據(jù)；

S2、對(duì)每個(gè)業(yè)務(wù)主題數(shù)據(jù)集中包含的數(shù)據(jù)根據(jù)不同的指標(biāo)進(jìn)行統(tǒng)計(jì)，將各業(yè)務(wù)主題的統(tǒng)計(jì)數(shù)據(jù)保存起來(lái)；

S3、當(dāng)接收到統(tǒng)計(jì)信息查詢請(qǐng)求時(shí)，根據(jù)所述查詢請(qǐng)求要查詢的業(yè)務(wù)主題獲取對(duì)應(yīng)的統(tǒng)計(jì)數(shù)據(jù)并返回。

2.如權(quán)利要求1所述的互聯(lián)網(wǎng)信息統(tǒng)計(jì)方法，其特征在于，在所述步驟S1之前還包括：預(yù)先去除網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù)中的無(wú)效數(shù)據(jù)；所述無(wú)效數(shù)據(jù)包括：后綴錯(cuò)誤的域名數(shù)據(jù)，訪問(wèn)量小于預(yù)設(shè)閾值的域名數(shù)據(jù)。

3.如權(quán)利要求2所述的互聯(lián)網(wǎng)信息統(tǒng)計(jì)方法，其特征在于，在識(shí)別無(wú)效數(shù)據(jù)時(shí)先判斷是否屬于黑白名單中預(yù)設(shè)的域名數(shù)據(jù)，對(duì)于白名單中的域名數(shù)據(jù)和所述域名數(shù)據(jù)的下級(jí)域名數(shù)據(jù)，始終視為有效數(shù)據(jù)，對(duì)于黑名單中的域名數(shù)據(jù)和所述域名數(shù)據(jù)的下級(jí)域名數(shù)據(jù)，始終視為無(wú)效數(shù)據(jù)。

4.如權(quán)利要求1所述的互聯(lián)網(wǎng)信息統(tǒng)計(jì)方法，其特征在于，所述步驟S2中的所述將各業(yè)務(wù)主題的統(tǒng)計(jì)數(shù)據(jù)保存起來(lái)具體為：將所述各業(yè)務(wù)主題的統(tǒng)計(jì)數(shù)據(jù)保存到數(shù)據(jù)集市DM中。

5.如權(quán)利要求1所述的互聯(lián)網(wǎng)信息統(tǒng)計(jì)方法，其特征在于，以服務(wù)的形式為所述步驟S2中的各業(yè)務(wù)主題的統(tǒng)計(jì)數(shù)據(jù)提供訪問(wèn)接口。

6.如權(quán)利要求5所述的互聯(lián)網(wǎng)信息統(tǒng)計(jì)方法，其特征在于，利用所述服務(wù)創(chuàng)建至少一個(gè)業(yè)務(wù)子模塊，其中封裝了針對(duì)所述統(tǒng)計(jì)數(shù)據(jù)的預(yù)定義運(yùn)算，并以服務(wù)的形式為該業(yè)務(wù)子模塊提供訪問(wèn)接口。

7.一種互聯(lián)網(wǎng)信息統(tǒng)計(jì)系統(tǒng)，其特征在于，包括：

數(shù)據(jù)拆分單元，按照業(yè)務(wù)主題將用戶網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù)通過(guò)MapReduce劃分成多個(gè)業(yè)務(wù)主題數(shù)據(jù)集，其中，所述用戶網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù)為用戶跨網(wǎng)訪問(wèn)數(shù)據(jù)；數(shù)據(jù)匯總單元，對(duì)每個(gè)業(yè)務(wù)主題數(shù)據(jù)集中包含的數(shù)據(jù)根據(jù)不同的指標(biāo)進(jìn)行統(tǒng)計(jì)，將各業(yè)務(wù)主題的統(tǒng)計(jì)數(shù)據(jù)保存起來(lái)；

數(shù)據(jù)查詢單元，當(dāng)接收到統(tǒng)計(jì)信息查詢請(qǐng)求時(shí)，根據(jù)所述查詢請(qǐng)求要查詢的業(yè)務(wù)主題獲取對(duì)應(yīng)的統(tǒng)計(jì)數(shù)據(jù)并返回。

8.如權(quán)利要求7所述的互聯(lián)網(wǎng)信息統(tǒng)計(jì)系統(tǒng)，其特征在于還包括：

數(shù)據(jù)預(yù)處理單元，預(yù)先去除網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù)中的無(wú)效數(shù)據(jù)；

所述無(wú)效數(shù)據(jù)包括：后綴錯(cuò)誤的域名數(shù)據(jù)，訪問(wèn)量小于預(yù)設(shè)閾值的域名數(shù)據(jù)。

9.如權(quán)利要求8所述的互聯(lián)網(wǎng)信息統(tǒng)計(jì)系統(tǒng)，其特征在于，在識(shí)別無(wú)效數(shù)據(jù)時(shí)先判斷是否屬于黑白名單中預(yù)設(shè)的域名數(shù)據(jù)，對(duì)于白名單中的域名數(shù)據(jù)和所述域名數(shù)據(jù)的下級(jí)域名數(shù)據(jù)，始終視為有效數(shù)據(jù)，對(duì)于黑名單中的域名數(shù)據(jù)和所述域名數(shù)據(jù)的下級(jí)域名數(shù)據(jù)，始終視為無(wú)效數(shù)據(jù)。

10.如權(quán)利要求7所述的互聯(lián)網(wǎng)信息統(tǒng)計(jì)系統(tǒng)，其特征在于還包括數(shù)據(jù)集市，用于保存數(shù)據(jù)匯總單元統(tǒng)計(jì)得到的數(shù)據(jù)。