[發明專利]論壇目錄頁內容爬取方法和裝置

在審

• 申請號: 201511019059.6
• 申請日: 2015-12-29
• 公開（公告）號: CN106933840A
• 公開（公告）日: 2017-07-07
• 發明（設計）人: 蘭光明
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 韓建偉,張永明

1.一種論壇目錄頁內容爬取方法，其特征在于，包括：

獲取論壇目錄頁的鏈接；

根據所述論壇目錄頁的鏈接按照預設排序規則構建爬取請求，其中，所述預設排序規則用于使所述論壇目錄頁的內容按照發表時間排序，所述爬取請求用于向網站服務器請求所述論壇目錄頁的內容；以及

根據所述爬取請求進行所述論壇目錄頁內容的爬取。

2.根據權利要求1所述的方法，其特征在于，獲取論壇目錄頁的鏈接包括：

獲取目標網站的各個頁面的鏈接，其中，所述目標網站為需要進行論壇目錄頁內容爬取的網站；

分別判斷所述各個頁面的鏈接是否滿足第一預設規則；以及

獲取所述各個頁面的鏈接中滿足所述第一預設規則的鏈接，作為所述論壇目錄頁的鏈接。

3.根據權利要求1所述的方法，其特征在于，根據所述爬取請求進行所述論壇目錄頁內容的爬取包括：

將所述爬取請求發送至所述網站服務器，其中，所述網站服務器根據所述爬取請求，將所述論壇目錄頁的內容按照發表時間進行排序，并返回按照發表時間排序后的論壇目錄頁的內容；以及

接收所述網站服務器返回的所述論壇目錄頁的內容。

4.根據權利要求1所述的方法，其特征在于，所述預設排序規則包括多個排序規則，

根據所述論壇目錄頁的鏈接按照預設排序規則構建爬取請求包括：

確定所述論壇目錄頁的鏈接的類型；

根據所述論壇目錄頁的鏈接的類型選擇對應的排序規則；以及

根據所述論壇目錄頁的鏈接的類型對應的排序規則構建所述爬取請求。

5.根據權利要求4所述的方法，其特征在于，所述預設排序規則包括基于文本增加的排序規則、基于Cookie的排序規則和基于文本替換的排序規則。

6.一種論壇目錄頁內容爬取裝置，其特征在于，包括：

獲取單元，用于獲取論壇目錄頁的鏈接；

構建單元，用于根據所述論壇目錄頁的鏈接按照預設排序規則構建爬取請求，其中，所述預設排序規則用于使所述論壇目錄頁的內容按照發表時間排序，所述爬取請求用于向網站服務器請求所述論壇目錄頁的內容；以及

爬取單元，用于根據所述爬取請求進行所述論壇目錄頁內容的爬取。

7.根據權利要求6所述的裝置，其特征在于，所述獲取單元包括：

第一獲取模塊，用于獲取目標網站的各個頁面的鏈接，其中，所述目標網站為需要進行論壇目錄頁內容爬取的網站；

判斷模塊，用于分別判斷所述各個頁面的鏈接是否滿足第一預設規則；以及

第二獲取模塊，用于獲取所述各個頁面的鏈接中滿足所述第一預設規則的鏈接，作為所述論壇目錄頁的鏈接。

8.根據權利要求6所述的裝置，其特征在于，所述爬取單元包括：

發送模塊，用于將所述爬取請求發送至所述網站服務器，其中，所述網站服務器根據所述爬取請求，將所述論壇目錄頁的內容按照發表時間進行排序，并返回按照發表時間排序后的論壇目錄頁的內容；以及

接收模塊，用于接收所述網站服務器返回的所述論壇目錄頁的內容。

9.根據權利要求6所述的裝置，其特征在于，所述預設排序規則包括多個排序規則，

所述構建單元包括：

確定模塊，用于確定所述論壇目錄頁的鏈接的類型；

選擇模塊，用于根據所述論壇目錄頁的鏈接的類型選擇對應的排序規則；以及

構建模塊，用于根據所述論壇目錄頁的鏈接的類型對應的排序規則構建所述爬取請求。

10.根據權利要求9所述的裝置，其特征在于，所述預設排序規則包括基于文本增加的排序規則、基于Cookie的排序規則和基于文本替換的排序規則。