[發明專利]抓取網頁數據的方法及系統

有效

• 申請號: 201510025584.2
• 申請日: 2015-01-19
• 公開（公告）號: CN104573040B
• 公開（公告）日: 2018-04-13
• 發明（設計）人: 沙安瀾
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州三環專利商標代理有限公司44202
• 代理人: 溫旭,郝傳鑫

1.一種抓取網頁數據的方法，其特征在于，所述方法包括：

生成數據模板；

根據所述數據模板以及第一請求數據拼接出第二請求數據；

根據所述第二請求數據執行網頁數據的抓取；其中，

生成數據模板包括：

對待抓取的站點進行網頁數據的抓取；

截獲所述抓取產生的傳輸數據；

根據所述傳輸數據中的各請求數據生成請求數據模板，以及，根據所述傳輸數據中的各響應數據生成響應數據模板。

2.如權利要求1所述的方法，其特征在于，根據所述第二請求數據執行網頁數據的抓取包括：

將所述第二請求數據發送至待抓取的站點；

接收所述站點返回的響應數據。

3.如權利要求2所述的方法，其特征在于，所述方法還包括：

在執行接收所述站點返回的響應數據的步驟后，根據所述響應數據模板提取所述響應數據中的部分數據。

4.如權利要求3所述的方法，其特征在于，所述方法還包括：

在執行接收所述站點返回的響應數據的步驟后，根據用戶的自定義配置提取所述響應數據中的部分數據。

5.如權利要求1所述的方法，其特征在于，根據所述傳輸數據中的各請求數據生成請求數據模板包括：

確定所述各請求數據中相同的名值對以及不同的名值對；

將所述相同的名值對直接寫入到所述請求數據模板，將所述不同的名值對中的取值修正為替換標簽后寫入到所述請求數據模板。

6.如權利要求1所述的方法，其特征在于，根據所述傳輸數據的中的各響應數據生成響應數據模板包括：

確定所述各響應數據中相同的名值對以及不同的名值對；

將所述相同的名值對直接寫入到所述響應數據模板，將所述不同的名值對中的取值修正為替換標簽后寫入到所述響應數據模板。

7.一種抓取網頁數據的系統，其特征在于，所述系統包括：

生成模塊，用于生成數據模板；

拼接模塊，用于根據所述生成模塊所生成的數據模板以及第一請求數據拼接出第二請求數據；

抓取模塊，用于根據所述拼接模塊所拼接出的第二請求數據執行網頁數據的抓取；其中，

所述生成模塊包括：

抓取單元，用于對待抓取的站點進行網頁數據的抓取；

截獲單元，用于截獲所述抓取單元產生的傳輸數據；

生成單元，包括：用于根據所述截獲單元所截獲的傳輸數據中的各請求數據生成請求數據模板的請求數據模板生成子單元，以及，用于根據所述截獲單元所截獲的傳輸數據中的各響應數據生成響應數據模板的響應數據模板生成子單元。

8.如權利要求7所述的系統，其特征在于，所述抓取模塊包括：

發送單元，用于將所述拼接出的第二請求數據發送至待抓取的站點；

接收單元，用于接收所述發送單元所發送至的站點返回的響應數據。

9.如權利要求8所述的系統，其特征在于，所述系統還包括：

第一提取模塊，用于根據所述響應數據模板提取所述響應數據中的部分數據。

10.如權利要求9所述的系統，其特征在于，所述系統還包括：

第二提取模塊，用于根據用戶的自定義配置提取所述響應數據中的部分數據。

11.如權利要求7所述的系統，其特征在于，所述請求數據模板生成子單元包括：

第一確定組件，用于確定所述各請求數據中相同的名值對以及不同的名值對；

第一寫入組件，用于將所述第一確定組件所確定的相同的名值對直接寫入到所述請求數據模板，將所述第一確定組件所確定的不同的名值對中的取值修正為替換標簽后寫入到所述請求數據模板。

12.如權利要求7所述的系統，其特征在于，所述響應數據模板生成子單元包括：

第二確定組件，用于確定所述各響應數據中相同的名值對以及不同的名值對；

第二寫入組件，用于將所述第二確定組件所確定的相同的名值對直接寫入到所述響應數據模板，將所述第二確定組件所確定的不同的名值對中的取值修正為替換標簽后寫入到所述響應數據模板。