[發(fā)明專利]一種采集網(wǎng)頁的方法及系統(tǒng)

無效

• 申請?zhí)枺?/td>: 200610160748.3
• 申請日: 2006-11-29
• 公開（公告）號: CN101178713A
• 公開（公告）日: 2008-05-14
• 發(fā)明（設(shè)計(jì)）人: 楊衛(wèi);文杰;王寧
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司
• 代理人: 宋松

1.一種采集網(wǎng)頁的方法，其特征在于，在系統(tǒng)中設(shè)定更新周期由短到長的至少兩個隊(duì)列；之后，包括下列步驟：

系統(tǒng)根據(jù)各個隊(duì)列的更新周期檢測該隊(duì)列中錄入的各個網(wǎng)頁鏈接地址URL是否超時；以及

當(dāng)檢測到URL超時時，判斷該URL中的網(wǎng)頁內(nèi)容是否被更新，若被更新，則將該URL錄入比當(dāng)前所在隊(duì)列的更新周期次短的隊(duì)列；否則將該URL錄入比當(dāng)前所在隊(duì)列的更新周期次長的隊(duì)列。

2.如權(quán)利要求1所述的方法，其特征在于，若URL被錄入更新周期最短的隊(duì)列中，并且當(dāng)超時時判定該URL中的網(wǎng)頁內(nèi)容被更新，則將該URL移至所述更新周期最短的隊(duì)列的隊(duì)尾；以及

若URL被錄入更新周期最長的隊(duì)列中，并且當(dāng)超時時判定該URL中的網(wǎng)頁內(nèi)容未被更新，則將該URL移出系統(tǒng)。

3.如權(quán)利要求1所述的方法，其特征在于，當(dāng)系統(tǒng)搜索到新的URL時，將該URL錄入系統(tǒng)中設(shè)定的任一隊(duì)列中。

4.如權(quán)利要求3所述的方法，其特征在于，當(dāng)系統(tǒng)搜索到新的URL時，將該URL錄入各個隊(duì)列中更新周期長度處于中間的隊(duì)列。

5.如權(quán)利要求3所述的方法，其特征在于，當(dāng)系統(tǒng)搜索到新的URL時，將該URL錄入各個隊(duì)列中更新周期最長的隊(duì)列。

6.如權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，系統(tǒng)將URL從隊(duì)列的隊(duì)尾錄入；以及

系統(tǒng)檢測每一隊(duì)列的隊(duì)首URL是否超時。

7.如權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，根據(jù)每一URL當(dāng)前的重要性，相應(yīng)為該URL設(shè)定PR值；并以URL的PR值與預(yù)設(shè)的閥值的比較結(jié)果作為該URL錄入特定隊(duì)列的條件。

8.一種采集網(wǎng)頁的系統(tǒng)，其特征在于，包括：

隊(duì)列設(shè)定單元，用于設(shè)定和保存更新周期由短到長的至少兩個隊(duì)列；

更新周期檢測單元，用于根據(jù)隊(duì)列的更新周期檢測該隊(duì)列中錄入的URL是否超時，并在檢測到URL超時時，將該URL取出并發(fā)送到更新判斷單元；

更新判斷單元，用于判斷收到的URL中的網(wǎng)頁內(nèi)容是否被更新，并將判斷結(jié)果告知錄入單元；

錄入單元，用于在所述判斷結(jié)果表明URL中的網(wǎng)頁內(nèi)容被更新時，將該URL錄入比當(dāng)前所在隊(duì)列的更新周期次短的隊(duì)列；在所述判斷結(jié)果表明URL中的網(wǎng)頁內(nèi)容未被更新時，將該URL錄入比當(dāng)前所在隊(duì)列的更新周期次長的隊(duì)列。

9.如權(quán)利要8所述的系統(tǒng)，其特征在于，當(dāng)系統(tǒng)搜索到新的URL時，所述錄入單元將該URL錄入隊(duì)列設(shè)定單元中設(shè)定的任一隊(duì)列中。

10.如權(quán)利要8或9所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

PR值設(shè)定單元，用于根據(jù)每一URL當(dāng)前的重要性，相應(yīng)為該URL設(shè)定PR值；并將URL的PR值與預(yù)設(shè)的閥值的比較結(jié)果輸出到錄入單元，作為該URL錄入特定隊(duì)列的條件。