[發(fā)明專利]確定抓取流量的方法及設(shè)備

有效

• 申請?zhí)枺?/td>: 201310500053.5
• 申請日: 2013-10-22
• 公開（公告）號: CN103530392B
• 公開（公告）日: 2018-04-24
• 發(fā)明（設(shè)計(jì)）人: 魏少俊
• 申請（專利權(quán)）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京華沛德權(quán)律師事務(wù)所11302
• 代理人: 劉杰

1.一種確定抓取流量的方法，包括：

根據(jù)目標(biāo)網(wǎng)站屬性特征獲取任務(wù)比例因子；

基于所述任務(wù)比例因子及目標(biāo)網(wǎng)站內(nèi)的網(wǎng)頁質(zhì)量分布總和，確定抓取目標(biāo)網(wǎng)站的任務(wù)流量；其中，所述網(wǎng)頁質(zhì)量分布總和的獲得還包括：根據(jù)所述目標(biāo)網(wǎng)站內(nèi)網(wǎng)頁的pagerank，和/或網(wǎng)頁的鏈接深度，確定網(wǎng)頁的評分；對所述目標(biāo)網(wǎng)站內(nèi)多個(gè)網(wǎng)頁的評分進(jìn)行歸一化處理，獲得各個(gè)網(wǎng)頁對應(yīng)的質(zhì)量分布；根據(jù)獲得的各個(gè)網(wǎng)頁對應(yīng)的質(zhì)量分布，確定所述網(wǎng)頁質(zhì)量分布總和；

根據(jù)所述抓取目標(biāo)網(wǎng)站的任務(wù)流量，對目標(biāo)網(wǎng)站進(jìn)行網(wǎng)頁抓取。

2.如權(quán)利要求1所述的方法，所述根據(jù)目標(biāo)網(wǎng)站屬性特征獲取任務(wù)比例因子，包括：

獲取所述目標(biāo)網(wǎng)站中，待抓取的網(wǎng)頁數(shù)占所述目標(biāo)網(wǎng)站中已收錄網(wǎng)頁總數(shù)的比例；

和/或，

獲取所述目標(biāo)網(wǎng)站中，不重復(fù)的網(wǎng)頁數(shù)量占所述目標(biāo)網(wǎng)站中網(wǎng)頁總數(shù)的比例。

3.如權(quán)利要求2所述的方法，所述獲取所述目標(biāo)網(wǎng)站中，待抓取的網(wǎng)頁數(shù)占所述目標(biāo)網(wǎng)站中已收錄網(wǎng)頁總數(shù)的比例，包括：

獲取所述目標(biāo)網(wǎng)站中，抓取歷史中更新的網(wǎng)頁數(shù)，和/或，所述目標(biāo)網(wǎng)站中新產(chǎn)生的網(wǎng)頁數(shù)，占所述目標(biāo)網(wǎng)站中已收錄網(wǎng)頁總數(shù)的比例。

4.如權(quán)利要求2所述的方法，所述獲取所述目標(biāo)網(wǎng)站中，不重復(fù)的網(wǎng)頁數(shù)量占所述目標(biāo)網(wǎng)站中網(wǎng)頁總數(shù)的比例，包括：

在對目標(biāo)網(wǎng)站的抓取歷史中，獲取和比對所抓取的網(wǎng)頁的信息指紋；

根據(jù)比對的結(jié)果獲取不重復(fù)的信息指紋數(shù)，占總指紋數(shù)的比例，作為所述不重復(fù)的網(wǎng)頁數(shù)量占所述目標(biāo)網(wǎng)站中網(wǎng)頁總數(shù)的比例。

5.如權(quán)利要求1所述的方法，所述基于所述任務(wù)比例因子及目標(biāo)網(wǎng)站內(nèi)的網(wǎng)頁質(zhì)量分布總和，確定抓取目標(biāo)網(wǎng)站的任務(wù)流量，包括：

基于一個(gè)或多個(gè)所述任務(wù)比例因子與所述目標(biāo)網(wǎng)站內(nèi)的網(wǎng)頁質(zhì)量分布總和的乘積，確定抓取目標(biāo)網(wǎng)站的任務(wù)流量。

6.如權(quán)利要求1所述的方法，還包括：

根據(jù)抓取目標(biāo)網(wǎng)站的任務(wù)總時(shí)間確定單位時(shí)間系數(shù)；

所述基于所述任務(wù)比例因子及目標(biāo)網(wǎng)站內(nèi)的網(wǎng)頁質(zhì)量分布總和，確定抓取目標(biāo)網(wǎng)站的任務(wù)流量，包括：

根據(jù)所述網(wǎng)頁質(zhì)量分布的總和與一個(gè)或多個(gè)所述任務(wù)比例因子，以及所述單位時(shí)間系數(shù)的乘積，確定抓取目標(biāo)網(wǎng)站的任務(wù)流量。

7.一種確定抓取流量的設(shè)備，包括：

任務(wù)比例因子獲取單元，適于根據(jù)目標(biāo)網(wǎng)站屬性特征獲取任務(wù)比例因子；

任務(wù)流量獲取單元，適于基于所述任務(wù)比例因子及目標(biāo)網(wǎng)站內(nèi)的網(wǎng)頁質(zhì)量分布總和，確定抓取目標(biāo)網(wǎng)站的任務(wù)流量；其中，所述網(wǎng)頁質(zhì)量分布總和的獲得還包括：根據(jù)所述目標(biāo)網(wǎng)站內(nèi)網(wǎng)頁的pagerank，和/或網(wǎng)頁的鏈接深度，確定網(wǎng)頁的評分；

網(wǎng)頁抓取單元，適于根據(jù)所述抓取目標(biāo)網(wǎng)站的任務(wù)流量，對目標(biāo)網(wǎng)站進(jìn)行網(wǎng)頁抓取。

8.如權(quán)利要求7所述的設(shè)備，所述任務(wù)比例因子獲取單元，適于：

獲取所述目標(biāo)網(wǎng)站中，待抓取的網(wǎng)頁數(shù)占所述目標(biāo)網(wǎng)站中已收錄網(wǎng)頁總數(shù)的比例；

和/或，

獲取所述目標(biāo)網(wǎng)站中，不重復(fù)的網(wǎng)頁數(shù)量占所述目標(biāo)網(wǎng)站中網(wǎng)頁總數(shù)的比例。

9.如權(quán)利要求7或8所述的設(shè)備，所述任務(wù)比例因子獲取單元，適于：

獲取所述目標(biāo)網(wǎng)站中，抓取歷史中更新的網(wǎng)頁數(shù)，和/或，所述目標(biāo)網(wǎng)站中新產(chǎn)生的網(wǎng)頁數(shù)，占所述目標(biāo)網(wǎng)站中已收錄網(wǎng)頁總數(shù)的比例。

10.如權(quán)利要求7所述的設(shè)備，所述任務(wù)比例因子獲取單元，適于：

在對目標(biāo)網(wǎng)站的抓取歷史中，獲取和比對所抓取的網(wǎng)頁的信息指紋；

根據(jù)比對的結(jié)果獲取不重復(fù)的信息指紋數(shù)，占總指紋數(shù)的比例，作為所述不重復(fù)的網(wǎng)頁數(shù)量占所述目標(biāo)網(wǎng)站中網(wǎng)頁總數(shù)的比例。

11.如權(quán)利要求7所述的設(shè)備，所述任務(wù)流量獲取單元，適于：

基于一個(gè)或多個(gè)所述任務(wù)比例因子與所述目標(biāo)網(wǎng)站內(nèi)的網(wǎng)頁質(zhì)量分布總和的乘積，確定抓取目標(biāo)網(wǎng)站的任務(wù)流量。

12.如權(quán)利要求7所述的設(shè)備，還包括：

單位時(shí)間系數(shù)獲取單元，適于根據(jù)抓取目標(biāo)網(wǎng)站的任務(wù)總時(shí)間確定單位時(shí)間系數(shù)；

所述任務(wù)流量獲取單元，適于：

根據(jù)所述網(wǎng)頁質(zhì)量分布的總和與一個(gè)或多個(gè)所述任務(wù)比例因子，以及所述單位時(shí)間系數(shù)的乘積，確定抓取目標(biāo)網(wǎng)站的任務(wù)流量。