[發(fā)明專利]一種骨干網(wǎng)鏈路中用戶上網(wǎng)行為數(shù)據(jù)采集方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201010232794.6
• 申請(qǐng)日: 2010-07-15
• 公開（公告）號(hào): CN101909079A
• 公開（公告）日: 2010-12-08
• 發(fā)明（設(shè)計(jì)）人: 張雁冰;胡平;劉軍;王強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 北京邁朗世訊科技有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L29/06;G06F17/30
• 代理公司: 中國國際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所 11038
• 代理人: 孫寶海

1.一種骨干網(wǎng)鏈路中用戶上網(wǎng)行為數(shù)據(jù)采集方法，其特征在于，包括：

捕獲骨干網(wǎng)鏈路中包含超文本傳輸協(xié)議HTTP請(qǐng)求報(bào)文的數(shù)據(jù)包

采用并行處理從數(shù)據(jù)包中根據(jù)HTTP協(xié)議解析提取用戶訪問的網(wǎng)站頁面統(tǒng)一資源定位符URL、以及反映用戶上網(wǎng)行為的HTTP字段信息；

根據(jù)URL模式特征樹過網(wǎng)站頁面URL進(jìn)行過濾，獲得需要抓取頁面內(nèi)容的網(wǎng)站頁面URL；

以異步方式抓取所述過濾后的網(wǎng)站頁面URL的頁面內(nèi)容。

2.根據(jù)權(quán)利要求1所述的用戶上網(wǎng)行為數(shù)據(jù)采集方法，其特征在于，還包括：

采用基于狀態(tài)機(jī)的多模匹配方法將網(wǎng)站頁面URL與過濾規(guī)則進(jìn)行比較，以過濾掉不需要抓取的網(wǎng)站頁面URL。

3.根據(jù)權(quán)利要求1或2所述的用戶上網(wǎng)行為數(shù)據(jù)采集方法，其特征在于，所述根據(jù)URL模式特征樹對(duì)網(wǎng)站頁面URL進(jìn)行過濾的步驟包括：

將網(wǎng)站頁面URL與非主頁面URL模式特征樹索引表和已抓取過的URL模式特征樹索引表進(jìn)行比較，過濾掉不需要抓取的網(wǎng)站頁面URL。

4.根據(jù)權(quán)利要1所述的用戶上網(wǎng)行為數(shù)據(jù)采集方法，其特征在于，還包括：

將URL頁面內(nèi)容的可獲取狀態(tài)實(shí)時(shí)動(dòng)態(tài)地反饋回URL模式特征樹。

5.根據(jù)權(quán)利要求1所述的用戶上網(wǎng)行為數(shù)據(jù)采集方法，其特征在于，

所述捕獲骨干網(wǎng)鏈路中包含HTTP請(qǐng)求報(bào)文的數(shù)據(jù)包的步驟包括：

在高速骨干網(wǎng)上采用軟件輪詢方式從網(wǎng)卡設(shè)備中獲得高速串行網(wǎng)絡(luò)鏈路幀數(shù)據(jù)流；

以直接內(nèi)存訪問方式將高速串行網(wǎng)絡(luò)鏈路幀數(shù)據(jù)存儲(chǔ)到多個(gè)緩沖區(qū)中；

和/或

所述從數(shù)據(jù)包中根據(jù)HTTP協(xié)議解析提取用戶訪問的網(wǎng)站頁面URL的步驟包括：

采用多線程并行處理方式從數(shù)據(jù)包中根據(jù)HTTP協(xié)議解析提取用戶訪問的網(wǎng)站頁面URL。

6.根據(jù)權(quán)利要求1所述的用戶上網(wǎng)行為數(shù)據(jù)采集方法，其特征在于，還包括：

從數(shù)據(jù)包中根據(jù)TCP/IP協(xié)議解析提取用戶的IP地址；

根據(jù)用戶IP地址查詢數(shù)據(jù)庫中用戶IP-UserID映射服務(wù)，以獲得用戶的用戶標(biāo)識(shí)。

7.一種用戶上網(wǎng)行為數(shù)據(jù)采集系統(tǒng)，其特征在于，包括：

數(shù)據(jù)包捕獲設(shè)備，用于捕獲骨干網(wǎng)鏈路中包含HTTP請(qǐng)求報(bào)文的數(shù)據(jù)包；

統(tǒng)一資源定位符URL提取設(shè)備，用于從數(shù)據(jù)包中根據(jù)超文本傳輸協(xié)議HTTP協(xié)議解析提取用戶訪問的網(wǎng)站頁面URL、以及反映用戶上網(wǎng)行為的HTTP字段信息；

URL過濾設(shè)備，用于根據(jù)URL模式特征樹對(duì)提取的網(wǎng)站頁面URL進(jìn)行過濾，獲得需要抓取面內(nèi)容的網(wǎng)站頁面URL；

頁面內(nèi)容抓取設(shè)備，用于準(zhǔn)實(shí)時(shí)地抓取所述過濾后的網(wǎng)站頁面URL的頁面內(nèi)容。

8.根據(jù)權(quán)利要求7所述的用戶上網(wǎng)行為數(shù)據(jù)采集系統(tǒng)，其特征在于，還包括：

經(jīng)驗(yàn)規(guī)則過濾設(shè)備，用于采用基于狀態(tài)機(jī)的多模匹配方法將網(wǎng)站頁面URL與經(jīng)驗(yàn)規(guī)則表中的過濾規(guī)則進(jìn)行比較，以過濾掉不需要抓取的網(wǎng)站頁面URL。

9.根據(jù)權(quán)利要求7或8所述的用戶上網(wǎng)行為數(shù)據(jù)采集系統(tǒng)，其特征在于，所述URL過濾設(shè)備將網(wǎng)站頁面URL與非主頁面URL模式特征樹和已抓取過的URL模式特征樹索引表做比較，過濾掉不需要抓取的網(wǎng)站頁面URL。

10.根據(jù)權(quán)利要求7所述的用戶上網(wǎng)行為數(shù)據(jù)采集系統(tǒng)，其特征在于，還包括：

特征樹反饋設(shè)備，用于將URL頁面內(nèi)容的可獲取狀態(tài)實(shí)時(shí)動(dòng)態(tài)地反饋到URL模式特征樹。

11.根據(jù)權(quán)利要求7所述的用戶上網(wǎng)行為數(shù)據(jù)采集系統(tǒng)，其特征在于，

所述數(shù)據(jù)包捕獲設(shè)備在高速骨干網(wǎng)上采用軟件輪詢方式從網(wǎng)卡設(shè)備中獲得高速串行網(wǎng)絡(luò)鏈路幀數(shù)據(jù)流，以直接內(nèi)存訪問方式將高速串行網(wǎng)絡(luò)鏈路幀數(shù)據(jù)存儲(chǔ)到多個(gè)緩沖區(qū)中；

和/或

URL提取設(shè)備采用多線程并行處理方式從數(shù)據(jù)包中根據(jù)HTTP協(xié)議解析提取用戶訪問的網(wǎng)站頁面URL。

12.根據(jù)權(quán)利要求7所述的用戶上網(wǎng)行為數(shù)據(jù)采集系統(tǒng)，其特征在于，還包括：

用戶ID獲取設(shè)備，用于從數(shù)據(jù)鏈路幀中根據(jù)TCP/IP協(xié)議解析提取用戶的IP地址，根據(jù)用戶IP地址查詢數(shù)據(jù)庫中用戶IP-UserID映射服務(wù)獲得用戶的用戶標(biāo)識(shí)。