[發明專利]一種抓取網絡平面媒體的網頁內容的方法及系統

有效

• 申請號: 201310344367.0
• 申請日: 2013-08-08
• 公開（公告）號: CN103399933A
• 公開（公告）日: 2013-11-20
• 發明（設計）人: 張思亮;崔世起;崔慶君
• 申請（專利權）人: 人民搜索網絡股份公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種抓取網絡平面媒體的網頁內容的方法，其特征在于，包括：

獲取網絡平面媒體的可用URL信息；所述URL信息包含時間信息；

根據所述可用URL信息生成所述網絡平面媒體的URL模板；

確定需要抓取的所述網絡平面媒體的更新時間信息；

根據所述URL模板以及所述更新時間信息構造所述網絡平面媒體的第一URL；

抓取所述第一URL對應的網頁內容。

2.根據權利要求1所述的方法，其特征在于，還包括：

判斷所述第一URL對應的網頁內容是否抓取成功，得到第一判斷結果；

當所述第一判斷結果為是時，對所述第一URL對應的網頁內容進行深度抓??；

當所述第一判斷結果為否時，停止抓取。

3.根據權利要求1所述的方法，其特征在于，所述確定需要抓取的所述網絡平面媒體的更新時間信息，包括：

查詢抓取記錄；所述抓取記錄中記錄有每次成功抓取對應的時間信息；

獲取當前的時間信息以及所述網絡平面媒體的更新周期；

確定所述當前的時間信息之前，所述網絡平面媒體中尚未抓取的網頁內容對應的時間信息。

4.根據權利要求3所述的方法，其特征在于，還包括：

判斷需要抓取的所述網絡平面媒體的更新時間信息中，是否存在超過預設時間仍未抓取成功的超時網頁內容；

停止抓取所述超時網頁內容。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述方法還包括：

獲取抓取失敗的次數；

判斷抓取失敗的次數是否大于預設次數，得到第二判斷結果；

當所述第二判斷結果為是時，重新獲取所述網絡平面媒體的第二可用URL信息；

根據所述第二可用URL信息重新生成所述網絡平面媒體的URL模板。

6.一種抓取網絡平面媒體的網頁內容的系統，其特征在于，包括：

可用URL信息獲取單元，用于獲取網絡平面媒體的可用URL信息；所述URL信息包含時間信息；

URL模板生成單元，用于根據所述可用URL信息生成所述網絡平面媒體的URL模板；

更新時間信息確定單元，用于確定需要抓取的所述網絡平面媒體的更新時間信息；

第一URL構造單元，用于根據所述URL模板以及所述更新時間信息構造所述網絡平面媒體的第一URL；

網頁內容抓取單元，用于抓取所述第一URL對應的網頁內容。

7.根據權利要求6所述的系統，其特征在于，還包括：

第一判斷單元，用于判斷所述第一URL對應的網頁內容是否抓取成功，得到第一判斷結果；

深度抓取單元，用于當所述第一判斷結果為是時，對所述第一URL對應的網頁內容進行深度抓取；

第一停止單元，用于當所述第一判斷結果為否時，停止抓取。

8.根據權利要求6所述的系統，其特征在于，所述更新時間信息確定單元，包括：

抓取記錄查詢子單元，用于查詢抓取記錄；所述抓取記錄中記錄有每次成功抓取對應的時間信息；

時間即周期獲取子單元，用于獲取當前的時間信息以及所述網絡平面媒體的更新周期；

更新時間信息確定子單元，用于確定所述當前的時間信息之前，所述網絡平面媒體中尚未抓取的網頁內容對應的更新時間信息。

9.根據權利要求8所述的系統，其特征在于，還包括：

第二判斷單元，用于判斷需要抓取的所述網絡平面媒體的更新時間信息中，是否存在超過預設時間仍未抓取成功的超時網頁內容；

第二停止單元，用于停止抓取所述超時網頁內容。

10.根據權利要求6-9任一項所述的系統，其特征在于，所述系統還包括：

失敗次數獲取單元，用于獲取抓取失敗的次數；

第三判斷單元，用于判斷抓取失敗的次數是否大于預設次數，得到第二判斷結果；

第二可用URL信息獲取單元，用于當所述第二判斷結果為是時，重新獲取所述網絡平面媒體的第二可用URL信息；

URL模板重生成單元，用于根據所述第二可用URL信息重新生成所述網絡平面媒體的URL模板。