[發明專利]網頁地址去重方法、電子設備及計算機可讀存儲介質

在審

• 申請號: 201710954304.5
• 申請日: 2017-10-13
• 公開（公告）號: CN107844527A
• 公開（公告）日: 2018-03-27
• 發明（設計）人: 李芳;王建明;肖京
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙)44347
• 代理人: 高杰,于志光

技術領域

本發明涉及計算機信息技術領域，尤其涉及一種網頁地址去重方法、電子設備及計算機可讀存儲介質。

背景技術

目前，網絡爬蟲常用的URL去重方案有基于數據庫的去重方案和基于內存鏈表的去重方案，這些方案在URL庫容量不大的情況下有不錯的效果。但是，現有的分布式爬蟲面向的URL庫容量通常非常大，需要URL去重能夠持久保持高效運作，而上述常用的URL去重方案在爬蟲程序運行較長時間后會有效率劇降或任務癱瘓的風險。故，現有技術中的URL去重方法設計不夠合理，亟需改進。

發明內容

有鑒于此，本發明提出一種網頁地址去重方法、電子設備及計算機可讀存儲介質，通過采用基于內存改進的廣義表進行URL去重作業，在時間效率上大大優于傳統的URL去重方案。

首先，為實現上述目的，本發明提出一種電子設備，所述電子設備包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的網頁地址去重系統，所述網頁地址去重系統被所述處理器執行時實現如下步驟：

依次讀取一條待處理網頁地址，于改進廣義表中搜索該待處理網頁地址，其中，所述改進廣義表中的每個節點權重相同，且所述改進廣義表中的每個節點包括一個判斷當前節點是否為根節點的標志位；

若所述改進廣義表中沒有搜索到該待處理網頁地址，則將該待處理網頁地址插入至所述改進廣義表，并將該待處理網頁地址存入待抓取隊列；及

若所述改進廣義表中搜索到該待處理網頁地址，則停止將該待處理網頁地址存入待抓取隊列。

優選地，所述標志位包括第一數值和第二數值；

如果檢測到當前節點的標志位為第一數值，則確定該當前節點為根節點，從該當前節點開始遍歷，確定為動態插入操作的出發節點；及

如果檢測到當前節點的標志位為第二數值，則確定該當前節點不是根節點，繼續遍歷下一個節點。

優選地，若所述改進廣義表的當前節點為根節點，則該當前節點的數據結構包括指針初始化操作和第一構造函數，該第一構造函數在該當前節點的新建節點對象沒有傳遞指定參數時，默認將該新建節點對象的數據域屬性設置為指定字符。

優選地，若所述改進廣義表的當前節點為非根節點，則該當前節點的數據結構包括指針初始化操作和第二構造函數，該第二構造函數將該當前節點的新建節點對象傳遞的指定數據值賦值給該新建節點對象的數據域。

優選地，所述將該待處理網頁地址插入至所述改進廣義表包括：將該待處理網頁地址對應的字符串分割為單個的字母，所述改進廣義表中每個節點存儲一個字母。

此外，為實現上述目的，本發明還提供一種網頁地址去重方法，該方法應用于電子設備，所述方法包括：

依次讀取一條待處理網頁地址，于改進廣義表中搜索該待處理網頁地址，其中，所述改進廣義表中的每個節點權重相同，且所述改進廣義表中的每個節點包括一個判斷當前節點是否為根節點的標志位；

若所述改進廣義表中沒有搜索到該待處理網頁地址，則將該待處理網頁地址插入至所述改進廣義表，并將該待處理網頁地址存入待抓取隊列；及

若所述改進廣義表中搜索到該待處理網頁地址，則停止將該待處理網頁地址存入待抓取隊列。

優選地，所述標志位包括第一數值和第二數值；

如果檢測到當前節點的標志位為第一數值，則確定該當前節點為根節點，從該當前節點開始遍歷，確定為動態插入操作的出發節點；及

如果檢測到當前節點的標志位為第二數值，則確定該當前節點不是根節點，繼續遍歷下一個節點。

優選地，若所述改進廣義表的當前節點為根節點，則該當前節點的數據結構包括指針初始化操作和第一構造函數，該第一構造函數在該當前節點的新建節點對象沒有傳遞指定參數時，默認將該新建節點對象的數據域屬性設置為指定字符；及

若所述改進廣義表的當前節點為非根節點，則該當前節點的數據結構包括指針初始化操作和第二構造函數，該第二構造函數將該當前節點的新建節點對象傳遞的指定數據值賦值給該新建節點對象的數據域。

優選地，所述將該待處理網頁地址插入至所述改進廣義表包括：將該待處理網頁地址對應的字符串分割為單個的字母，所述改進廣義表中每個節點存儲一個字母。

進一步地，為實現上述目的，本發明還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有網頁地址去重系統，所述網頁地址去重系統可被至少一個處理器執行，以使所述至少一個處理器執行如上述的網頁地址去重方法的步驟。