[發明專利]一種爬蟲抓取的方法及其裝置

有效

• 申請號: 200810226245.0
• 申請日: 2008-11-10
• 公開（公告）號: CN101739427A
• 公開（公告）日: 2010-06-16
• 發明（設計）人: 孫宏偉;胡珉;羅治國
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 魏杉

1.一種爬蟲抓取的方法，其特征在于，包括：

根據網頁在當前搜索結果中的排序或/和所述網頁被用戶點擊的順序，確定 所述網頁的當前權值；

根據所述網頁的當前權值以及歷史權值，確定所述網頁的結果權值；

當所述結果權值達到設定閾值時，重新抓取所述網頁中的信息，并初始化 所述網頁的歷史權值；

當所述結果權值未達到設定閾值時，利用所述網頁的結果權值更新所述網 頁的歷史權值。

2.如權利要求1所述的方法，其特征在于，

當所述網頁的當前權值根據所述網頁在當前搜索結果中的排序確定時，所 述網頁的當前權值根據所述網頁在當前搜索結果中的排序由前到后遞減；或當 所述網頁的當前權值根據所述網頁被用戶點擊的順序確定時，所述網頁的當前 權值根據所述網頁被用戶點擊的順序由前到后遞減；

根據所述網頁的當前權值以及歷史權值，確定所述網頁的結果權值，包括：

將所述網頁的歷史權值加上當前權值，得到所述網頁對應的結果權值；或 者，將所述網頁的歷史權值減去當前權值，得到所述網頁對應的結果權值。

3.如權利要求1所述的方法，其特征在于，所述根據網頁在當前搜索結 果中的排序和所述網頁被用戶點擊的順序，確定所述網頁的當前權值包括：

根據所述網頁在當前搜索結果中的排序，確定所述網頁的第一權值；所述 第一權值根據所述網頁在當前搜索結果中的排序由前到后遞減；

以及，根據所述網頁被用戶點擊的順序，確定所述網頁的第二權值；所述 第二權值根據所述網頁被用戶點擊的順序由前到后遞減；

根據所述第一權值和所述第二權值，確定所述網頁的當前權值。

4.如權利要求1所述的方法，其特征在于，更新所述網頁的歷史權值后， 并且當所述網頁的當前權值根據所述網頁在當前搜索結果中的排序確定時，所 述方法還包括：

根據所述網頁被用戶點擊的順序，確定所述網頁的當前權值；

根據所述網頁的當前權值以及歷史權值，確定所述網頁的結果權值；

當所述結果權值達到設定閾值時，重新抓取所述網頁中的信息。

5.如權利要求1所述的方法，其特征在于，更新所述網頁的歷史權值后， 并且當所述網頁的當前權值根據所述網頁被用戶點擊的順序確定時，所述方法 還包括：

根據所述網頁在搜索結果中的排序，確定所述網頁的當前權值；

根據所述網頁的當前權值以及歷史權值，確定所述網頁的結果權值；

當所述結果權值達到設定閾值時，重新抓取所述網頁中的信息。

6.一種爬蟲抓取的裝置，其特征在于，包括：

當前權值確定單元，用于根據網頁在當前搜索結果中的排序或/和所述網頁 被用戶點擊的順序，確定所述網頁的當前權值；

結果權值確定單元，用于根據所述當前權值確定單元確定的當前權值以及 所述網頁的歷史權值，確定所述網頁的結果權值；

信息抓取單元，用于當所述結果權值確定單元確定的結果權值達到設定閾 值時，重新抓取所述網頁中的信息；

歷史權值初始化單元，用于當所述結果權值確定單元確定的結果權值達到 設定閾值時，初始化所述網頁的歷史權值；

歷史權值更新單元，用于當所述結果權值確定單元確定的結果權值未達到 設定閾值時，利用所述網頁的結果權值更新所述網頁的歷史權值。

7.如權利要求6所述的裝置，其特征在于，當所述當前權值確定單元確 定出的當前權值是根據所述網頁在當前搜索結果中的排序確定時，所述當前權 值根據所述網頁在當前搜索結果中的排序由前到后遞減；或當所述當前權值確 定單元確定出的當前權值是根據所述網頁被用戶點擊的順序確定時，所述當前 權值根據所述網頁被用戶點擊的順序由前到后遞減；

所述結果權值確定單元，進一步用于：將所述網頁的歷史權值加上當前權 值，得到所述網頁對應的結果權值；或者，將所述網頁的歷史權值減去當前權 值，得到所述網頁對應的結果權值。