[發明專利]論壇目錄頁內容爬取方法和裝置

在審

• 申請號: 201511019097.1
• 申請日: 2015-12-29
• 公開（公告）號: CN106933841A
• 公開（公告）日: 2017-07-07
• 發明（設計）人: 蘭光明
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 韓建偉,張永明

1.一種論壇目錄頁內容爬取方法，其特征在于，包括：

爬取論壇目錄頁的第一爬取頁面中的文章，得到爬取結果，其中，所述論壇目錄頁中的文章按照發表時間排序；

從所述爬取結果中獲取所述第一爬取頁面中的最后一篇文章的發表時間；

判斷所述發表時間是否晚于預設時間；

在判斷出所述發表時間晚于所述預設時間時，跳轉至所述論壇目錄頁的第二爬取頁面，并爬取所述第二爬取頁面中的文章，其中，所述第二爬取頁面位于所述第一爬取頁面之后；以及

在判斷出所述發表時間不晚于所述預設時間時，停止爬取所述論壇目錄頁中的文章。

2.根據權利要求1所述的方法，其特征在于，從所述爬取結果中獲取所述第一爬取頁面中最后一篇文章的發表時間包括：

從所述爬取結果中獲取所述第一爬取頁面中最后一篇文章對應的內容；以及

通過預設算法從所述最后一篇文章對應的內容中解析出所述發表時間。

3.根據權利要求1所述的方法，其特征在于，在判斷出所述發表時間晚于所述預設時間時，跳轉至所述論壇目錄頁的第二爬取頁面，并爬取所述第二爬取頁面中的文章包括：

從所述第一爬取頁面中獲取所述第二爬取頁面的鏈接；

根據所述第二爬取頁面的鏈接跳轉至所述第二爬取頁面；以及

爬取所述第二爬取頁面中的文章。

4.根據權利要求1所述的方法，其特征在于，在爬取論壇目錄頁的第一爬取頁面中的文章，得到爬取結果之前，所述方法還包括：

獲取預設排序規則，其中，所述預設排序規則用于使所述論壇目錄頁的內容按照發表時間排序；以及

根據所述預設排序規則將所述論壇目錄頁中的文章按照發表時間排序。

5.根據權利要求4所述的方法，其特征在于，根據所述預設排序規則將所述論壇目錄頁中的文章按照發表時間排序包括：

獲取所述論壇目錄頁的鏈接；以及

根據所述論壇目錄頁的鏈接按照所述預設排序規則構建爬取請求，其中，根據所述爬取請求從服務器獲取到的論壇目錄頁中的文章按照發表時間排序。

6.一種論壇目錄頁內容爬取裝置，其特征在于，包括：

第一爬取單元，用于爬取論壇目錄頁的第一爬取頁面中的文章，得到爬取結果，其中，所述論壇目錄頁中的文章按照發表時間排序；

第一獲取單元，用于從所述爬取結果中獲取所述第一爬取頁面中的最后一篇文章的發表時間；

判斷單元，用于判斷所述發表時間是否晚于預設時間；以及

第二爬取單元，用于在判斷出所述發表時間晚于所述預設時間時，跳轉至所述論壇目錄頁的第二爬取頁面，并爬取所述第二爬取頁面中的文章，其中，所述第二爬取頁面位于所述第一爬取頁面之后，在判斷出所述發表時間不晚于所述預設時間時，停止爬取所述論壇目錄頁中的文章。

7.根據權利要求6所述的裝置，其特征在于，所述第一獲取單元包括：

第一獲取模塊，用于從所述爬取結果中獲取所述第一爬取頁面的最后一篇文章對應的內容；以及

解析模塊，用于通過預設算法從所述最后一篇文章對應的內容中解析出所述發表時間。

8.根據權利要求6所述的裝置，其特征在于，所述第二爬取單元包括：

第二獲取模塊，用于從所述第一爬取頁面中獲取所述第二爬取頁面的鏈接；

調整模塊，用于根據所述第二爬取頁面的鏈接跳轉至所述第二爬取頁面；以及

爬取模塊，用于爬取所述第二爬取頁面中的文章。

9.根據權利要求6所述的裝置，其特征在于，所述裝置還包括：

第二獲取單元，用于獲取預設排序規則，其中，所述預設排序規則用于使所述論壇目錄頁的內容按照發表時間排序；以及

排序單元，用于根據所述預設排序規則將所述論壇目錄頁中的文章按照發表時間排序。

10.根據權利要求9所述的裝置，其特征在于，所述排序單元包括：

第三獲取模塊，用于獲取所述論壇目錄頁的鏈接；以及

構建模塊，用于根據所述論壇目錄頁的鏈接按照所述預設排序規則構建爬取請求，其中，根據所述爬取請求從服務器獲取到的論壇目錄頁中的文章按照發表時間排序。