[發明專利]一種網頁抓取方法及系統

無效

• 申請號: 201110361871.2
• 申請日: 2011-11-15
• 公開（公告）號: CN103106219A
• 公開（公告）日: 2013-05-15
• 發明（設計）人: 陳華清;呂晴
• 申請（專利權）人: 盛樂信息技術（上海）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 逯長明;王寶筠

1.一種網頁抓取方法，其特征在于，所述方法應用的網頁抓取系統包括至少兩個網頁鏈接庫，包括步驟：

A、在任一個網頁鏈接庫處于空閑狀態的情況下，從所述至少任一個網頁鏈接庫中選取額定數量的初始鏈接，所述空閑狀態指所述網頁鏈接庫既不處于被選取狀態，又不處于更新狀態；

B、從所述初始鏈接對應的各個原始網頁中抓取新鏈接；

C、對于每個待更新鏈接，所述待更新鏈接指所述新鏈接以及所述初始鏈接，判斷所述待更新鏈接是否存在于任一個網頁鏈接庫中，如果是，則進入步驟D，如果否，則進入步驟E；

D、將所述待更新鏈接存儲至包含所述待更新鏈接的網頁鏈接庫對應的鏈接緩存中，或在包含所述待更新鏈接的網頁鏈接庫處于空閑狀態的情況下，根據所述待更新鏈接的抓取狀態更新包含所述待更新鏈接網頁連接庫中對應鏈接的抓取狀態；

E、將所述待更新鏈接追加到任一個網頁鏈接庫對應的追加鏈接緩存中。

2.根據權利要求1所述方法，其特征在于，在所述步驟A前，還包括：

步驟F、檢測所述各個網頁鏈接庫是否處于空閑狀態，如果至少兩個網頁鏈接庫處于空閑狀態，則比較所述處于空閑狀態的網頁鏈接庫的存儲鏈接的量，得到鏈接存儲量最大的網頁鏈接庫；

相應的，步驟A為：從所述鏈接存儲量最大的網頁鏈接庫中選取額定數量的初始鏈接。

3.根據權利要求1所述方法，其特征在于，在所述步驟C前還包括：

步驟G、檢測所述各個網頁鏈接庫是否處于空閑狀態，如果至少兩個處于空閑狀態，則比較所述處于空閑狀態的網頁鏈接庫中鏈接的存儲量，得到鏈接存儲量最小的網頁鏈接庫；

相應的，所述步驟E具體為：將所述待更新鏈接追加到所述鏈接存儲量最小的網頁鏈接庫對應的追加鏈接緩存中。

4.根據權利要求3所述方法，其特征在于，所述步驟C具體為：

C1、對于每個所述待更新鏈接，判斷所述待更新鏈接是否存在于除所述鏈接存儲量最小的網頁鏈接庫以外的其他任一個網頁鏈接庫中，如果是，則相應的，所述步驟D為：將所述待更新鏈接存儲至包含所述待更新鏈接的所述其他任一個網頁鏈接庫對應的更新鏈接緩存中，或在包括所述待更新鏈接的網頁鏈接庫處于空閑的情況下，根據所述待更新鏈接的抓取狀態更新包含所述待更新鏈接網頁連接庫中對應鏈接的抓取狀態；如果否，則進入步驟C2；

C2、判斷所述待更新鏈接是否存在于所述鏈接存儲量最小的網頁鏈接庫中，如果是，則相應的，所述步驟D為：將所述待更新鏈接存儲至所述鏈接存儲量最小的網頁鏈接庫對應的更新鏈接緩存中，或在所述鏈接存儲量最小的網頁鏈接庫處于空閑的情況下，根據所述待更新鏈接的抓取狀態更新所述鏈接存儲量最小的網頁鏈接庫中對應鏈接的抓取狀態。

5.根據權利要求1所述方法，其特征在于，所述步驟C具體為：采用多哈希函數映射的快速查找算法判斷各個所述待更新鏈接是否存在于任一個網頁鏈接庫中。

6.根據權利要求1所述方法，其特征在于，在步驟E后，還包括：

步驟H、在所述各個待更新鏈接判斷完畢后，將所述追加鏈接緩存中的鏈接寫入與所述追加鏈接緩存對應的網頁鏈接庫中，以及將更新鏈接緩存中的鏈接寫入與所述更新鏈接緩存對應的網頁鏈接庫中。

7.一種網頁抓取系統，其特征在于，所述系統包括：至少兩個網頁鏈接庫；

以及，狀態檢測模塊，用于檢測任一個網頁鏈接庫是否處于空閑狀態，所述空閑狀態指所述網頁鏈接庫既不處于被選取狀態，又不處于更新狀態；

選取模塊，用于在所述狀態檢測模塊的檢測結果為是的情況下，從至少任一個處于空閑狀態的網頁鏈接庫中選取額定數量的初始鏈接；

抓取模塊，用于根據所述初始鏈接獲得與所述初始連接對應的各個原始網頁，再從所述各個原始網頁中抓取新鏈接；

重復鏈接判定模塊，用于判斷各個待更新鏈接是否存在于任一個網頁鏈接庫中，所述待更新鏈接指所述新鏈接以及所述初始鏈接；

更新模塊，在所述重復鏈接判定模塊的判斷結果為是的情況下，將所述待更新鏈接存儲到包括所述待更新鏈接的網頁鏈接庫對應的更新鏈接緩存中，或者，在包括所述待更新鏈接的網頁鏈接庫處于空閑的情況下，根據所述待更新鏈接的抓取狀態更新包括所述待更新鏈接的網頁鏈接庫中對應鏈接的抓取狀態，在所述重復鏈接判定模塊的判斷結果為否的情況下，將所述待更新鏈接追加到任一個網頁鏈接庫對應的追加鏈接緩存中。