[發明專利]代理云環境中的用戶抓取外部網頁的方法和裝置

在審

• 申請號: 201210316759.1
• 申請日: 2012-08-30
• 公開（公告）號: CN103685327A
• 公開（公告）日: 2014-03-26
• 發明（設計）人: 高巍;何磊;李彬孟
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;G06F17/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

1.一種代理云環境中的用戶抓取外部網頁的方法，其特征在于，包括以下步驟：

接收所述用戶抓取網頁的請求；

驗證所述用戶的身份；

統計所述用戶的配額以確定所述用戶是否在黑名單中；

解析所述請求以確定是否要求使用http或https協議抓取網頁；以及

如果所述用戶通過身份驗證且不在所述黑名單中，則按照所述要求而代理用戶使用http或https協議抓取網頁。

2.根據權利要求1所述的方法，其特征在于，進一步包括步驟：

判斷所述網頁所在的地址是否屬于禁止訪問地址；以及

如果是，則向用戶反饋所述地址不可訪問的提示。

3.根據權利要求2所述的方法，其特征在于，所述網頁所在的地址包括所述網頁的域名或ip地址。

4.根據權利要求1所述的方法，其特征在于，進一步包括步驟：

判斷所述請求是否是大數據包請求；以及

如果是，則過濾所述大數據包請求。

5.根據權利要求4所述的方法，其特征在于，所述大數據包請求是超過10M的請求。

6.根據權利要求1所述的方法，其特征在于，進一步包括步驟：

如果所述用戶沒有通過身份驗證或者在所述黑名單中，則向所述用戶返回身份錯誤或配額超限提示。

7.根據權利要求1所述的方法，其特征在于，進一步包括步驟：

在代理用戶使用http或https協議抓取網頁之后，記錄抓取網頁而發生的配額消耗用于統計所述用戶的配額。

8.根據權利要求1至7中任一項所述的方法，其特征在于，使用http協議接收所述用戶抓取網頁的請求，其中http頭中包括分別攜帶所述用戶的公鑰、密鑰和用戶要求使用http或https協議抓取網頁的三個字段。

9.一種代理云環境中的用戶抓取外部網頁的裝置，其特征在于，包括：

接收模塊，所述接收模塊用于接收所述用戶抓取網頁的請求；

驗證模塊，所述驗證模塊用于驗證所述用戶的身份；

統計模塊，所述統計模塊用于統計所述用戶的配額以確定所述用戶是否在黑名單中；

解析模塊，所述解析模塊用于解析所述請求以確定是否要求使用http或https協議抓取網頁；以及

抓取模塊，所述抓取模塊用于在所述用戶通過身份驗證且不在所述黑名單中時，按照所述要求而代理用戶使用http或https協議抓取網頁。

10.根據權利要求9所述的裝置，其特征在于，進一步包括：

第一判斷模塊，所述第一判斷模塊用于判斷所述網頁所在的地址是否屬于禁止訪問地址；以及

第一反饋模塊，所述第一反饋模塊用于在所述網頁所在的地址屬于禁止訪問地址時，向用戶反饋所述地址不可訪問的提示。

11.根據權利要求10所述的裝置，其特征在于，所述網頁所在的地址包括所述網頁的域名或ip地址。

12.根據權利要求9所述的裝置，其特征在于，進一步包括：

第二判斷模塊，所述第二判斷模塊用于判斷所述請求是否是大數據包請求；以及

過濾模塊，所述過濾模塊用于在所述請求是大數據包請求時，過濾所述大數據包請求。

13.根據權利要求12所述的裝置，其特征在于，所述大數據包請求是超過10M的請求。

14.根據權利要求9所述的裝置，其特征在于，進一步包括：

第二反饋模塊，所述第二反饋模塊用于在所述用戶沒有通過身份驗證或者在所述黑名單中時，向所述用戶返回身份錯誤或配額超限提示。

15.根據權利要求9所述的裝置，其特征在于，進一步包括：

記錄模塊，所述記錄模塊在代理用戶使用http或https協議抓取網頁之后，記錄抓取網頁而發生的配額消耗并將所述配額消耗發送到所述統計模塊。

16.根據權利要求9至15中任一項所述的方法，其特征在于，所述接收模塊使用http協議接收所述用戶抓取網頁的請求，其中http頭中包括分別攜帶所述用戶的公鑰、密鑰和用戶要求使用http或https協議抓取網頁的三個字段。