[發明專利]網頁的爬取方法和裝置

在審

• 申請號: 201710591483.0
• 申請日: 2017-07-19
• 公開（公告）號: CN110020064A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 邢琰
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/951;G06F16/955;G06F16/958
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙囡囡;褚敏

1.一種網頁的爬取方法，其特征在于，包括：

爬取目標網站的根URL下的子網頁URL；

利用第一集合和第二集合對所述子網頁URL進行判斷得到第一判斷結果，其中，所述第一集合用于判斷所述子網頁URL對應的網頁是否為目錄頁，所述第二集合用于判斷所述子網頁URL對應的網頁是否為內容頁；

利用預定類對所述子網頁URL進行判斷得到第二判斷結果，其中，所述第二判斷結果用于指示所述子網頁URL為所述目錄頁或者所述內容頁；

如果所述第一判斷結果和所述第二判斷結果一致，則按照所述第一判斷結果對所述子網頁URL進行爬取；

如果所述第一判斷結果和所述第二判斷結果不一致，則記錄所述子網頁URL。

2.根據權利要求1所述的方法，其特征在于，利用第一集合和第二集合對所述子網頁URL進行判斷得到第一判斷結果包括：

判斷所述子網頁URL被所述第一集合攔截還是被所述第二集合攔截；

如果所述子網頁URL被所述第一集合攔截，則確定所述子網頁URL對應的網頁為所述目錄頁；

如果所述子網頁URL被所述第二集合攔截，則確定所述子網頁URL對應的網頁為所述內容頁。

3.根據權利要求1所述的方法，其特征在于，在記錄所述子網頁URL之后，所述方法還包括：

按照所述第一判斷結果對所述子網頁URL進行爬取。

4.根據權利要求1所述的方法，其特征在于，在記錄所述子網頁URL之后，所述方法還包括：

向所述預定類中添加邏輯判斷規則，其中，所述邏輯判斷規則用于判斷所述子網頁URL為內容頁或目錄頁；

利用所述預定類中的所述邏輯判斷規則將所述子網頁URL判斷為所述第一判斷結果所指示的頁面類型，所述頁面類型是內容頁或者目錄頁。

5.根據權利要求4所述的方法，其特征在于，向所述預定類中添加邏輯判斷規則包括：

通過字符串模板向所述預定類中添加針對所述子網頁URL的所述邏輯判斷規則；

如果通過字符串模板無法對所述子網頁URL添加所述邏輯判斷規則，則將保存所述子網頁URL的信息。

6.根據權利要求1所述的方法，其特征在于，利用第一集合和第二集合對所述子網頁URL進行判斷得到第一判斷結果之前，所述方法包括：

將相對子網頁URL變為絕對子網頁URL，其中，所述相對子網頁是具有子網頁的全部域名的網頁，絕對子網頁是指去除根目錄后的子網頁；

去除與絕對子網頁URL結構相似的子網頁URL；

去除不符合要求的子網頁URL。

7.根據權利要求6所述的方法，其特征在于，去除不符合要求的子網頁URL包括：

去除域名不相同的子網頁URL和/或過濾掉無法爬取的子網頁URL。

8.一種網頁的爬取裝置，其特征在于，包括：

第一爬取單元，用于爬取目標網站的根URL下的子網頁URL；

第一判斷單元，用于利用第一集合和第二集合對所述子網頁URL進行判斷得到第一判斷結果，其中，所述第一集合用于判斷所述子網頁URL對應的網頁是否為目錄頁，所述第二集合用于判斷所述子網頁URL對應的網頁是否為內容頁；

第二判斷單元，用于利用預定類對所述子網頁URL進行判斷得到的第二判斷結果，其中，所述第二判斷結果用于指示所述子網頁URL為所述目錄頁或者所述內容頁；

第二爬取單元，用于如果所述第一判斷結果和所述第二判斷結果一致，則按照所述第一判斷結果繼續對所述子網頁URL進行爬取；

記錄單元，用于如果所述第一判斷結果和所述第二判斷結果不一致，則記錄所述子網頁URL。