[發明專利]一種網頁數據信息的定向采集方法及裝置

有效

• 申請號: 201010236363.7
• 申請日: 2010-07-22
• 公開（公告）號: CN102339290A
• 公開（公告）日: 2012-02-01
• 發明（設計）人: 吳新麗;楊建武
• 申請（專利權）人: 北大方正集團有限公司;北京大學;北京北大方正電子有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

1.一種網頁數據信息的定向采集方法，其特征在于，包括：

根據采集到的列表頁對應網頁的內容，抽取每個內容所在的內容頁的統一資源定位符URL信息，其中所述列表頁為用于數據信息采集的網頁；

根據抽取的每個內容頁的URL信息，及服務器中保存的已經進行了數據信息采集的每個URL信息，確定該列表頁中未進行數據信息采集的URL信息的數量；

根據確定的所述列表頁中未進行數據信息采集的URL信息的數量，及抽取的所述內容頁的URL信息的數量，確定所述列表頁當前的頁面更新率；

根據所述列表頁所屬網站的標準更新率，確定的所述列表頁當前的頁面更新率，及當前的信息采集時間間隔，確定針對所述列表頁當前數據信息采集與下一次數據信息采集的時間間隔，并在等待該確定的時間間隔后，進行數據信息采集。

2.如權利要求1所述的方法，其特征在于，所述確定列表頁中未進行數據信息采集的URL信息包括：

根據抽取的每個內容頁的URL信息，確定每個URL信息對應的標識信息；

針對確定的每個URL信息對應的標識信息，在服務器保存的已經進行了數據信息采集的每個URL信息對應的標識信息中查找，判斷是否存在該確定的標識信息；

當判斷不存在時，確定該標識信息對應的URL信息為該列表頁中未進行數據信息采集的URL信息。

3.如權利要求2所述的方法，其特征在于，所述方法進一步包括：

根據所述未進行數據信息采集的URL信息，在對應的網頁進行數據信息采集后，將所述URL信息對應的標識信息保存在所述服務器中。

4.如權利要求1所述的方法，其特征在于，確定所述網站的標準更新率包括：

根據設置的全局更新率，以及所述網站對應的權重值，確定所述網站的標準更新率。

5.如權利要求4所述的方法，其特征在于，所述方法還包括：

將采集線程劃分為進行列表頁隊列采集的采集線程，和進行內容頁隊列采集的采集線程，其中列表頁隊列包含待采集的每個列表頁的URL信息，針對列表頁的采集包括抽取列表頁中每個內容所在的內容頁的URL信息，內容頁隊列包含待采集的每個內容頁的URL信息，針對內容頁的采集包括根據每個內容頁的URL信息，獲取對應網頁中的數據信息；

當列表頁隊列中待采集的URL信息的數量與采集任務總數的比例，大于設定的比例閾值，并且內容頁隊列中的線程數量不小于內容頁隊列中所有的URL信息所屬的網站的數量時，增加對列表頁隊列進行采集的采集線程的數量；

當列表頁隊列中排隊等待采集的URL信息的數量與采集任務總數的比例，小于設定的比例閾值，且當前內容頁隊列中的線程數量小于內容頁隊列中所有的URL信息所屬的網站的數量時，減少對列表頁隊列進行采集的采集線程的數量，其中采集任務總數為初始進行數據信息采集時加載的所有列表頁的個數。

6.如權利要求5所述的方法，其特征在于，所述方法還包括：Si根據

調整全局更新率，其中α_Ratio為1和1.5之間數值，λ₀為理想狀態下，列表頁隊列中待采集的URL信息的數量與采集任務總數的比例，λ為當前列表頁隊列中待采集的URL信息的數量與采集任務總數的比例，nThdNum_Cont為分配給內容頁隊列的采集線程的數量，nSiteNum_Cont為內容頁隊列中所有的URL信息所屬的網站的數量。

7.如權利要求1所述的方法，其特征在于，確定針對所述列表頁當前信息采集與下一次信息采集的時間間隔包括：

當列表頁的當前頁面更新率大于所述網站的標準更新率時，縮短當前的信息采集時間間隔，將縮短后的時間間隔確定為當前信息采集與下一次信息采集的時間間隔；

當列表頁的當前頁面更新率等于所述網站的標準更新率時，確定當前信息采集與下一次信息采集的時間間隔為當前的信息采集時間間隔；

當列表頁的當前頁面更新率小于所述網站的標準更新率時，延長當前的信息采集時間間隔，將延長后的時間間隔確定為當前信息采集與下一次信息采集的時間間隔。