[發(fā)明專利]網(wǎng)頁(yè)地址去重方法、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710954304.5
• 申請(qǐng)日: 2017-10-13
• 公開(kāi)（公告）號(hào): CN107844527A
• 公開(kāi)（公告）日: 2018-03-27
• 發(fā)明（設(shè)計(jì)）人: 李芳;王建明;肖京
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 深圳市沃德知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)44347
• 代理人: 高杰,于志光

1.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的網(wǎng)頁(yè)地址去重系統(tǒng)，所述網(wǎng)頁(yè)地址去重系統(tǒng)被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如下步驟：

依次讀取一條待處理網(wǎng)頁(yè)地址，于改進(jìn)廣義表中搜索該待處理網(wǎng)頁(yè)地址，其中，所述改進(jìn)廣義表中的每個(gè)節(jié)點(diǎn)權(quán)重相同，且所述改進(jìn)廣義表中的每個(gè)節(jié)點(diǎn)包括一個(gè)判斷當(dāng)前節(jié)點(diǎn)是否為根節(jié)點(diǎn)的標(biāo)志位；

若所述改進(jìn)廣義表中沒(méi)有搜索到該待處理網(wǎng)頁(yè)地址，則將該待處理網(wǎng)頁(yè)地址插入至所述改進(jìn)廣義表，并將該待處理網(wǎng)頁(yè)地址存入待抓取隊(duì)列；及

若所述改進(jìn)廣義表中搜索到該待處理網(wǎng)頁(yè)地址，則停止將該待處理網(wǎng)頁(yè)地址存入待抓取隊(duì)列。

2.如權(quán)利要求1所述的電子設(shè)備，其特征在于，所述標(biāo)志位包括第一數(shù)值和第二數(shù)值；

如果檢測(cè)到當(dāng)前節(jié)點(diǎn)的標(biāo)志位為第一數(shù)值，則確定該當(dāng)前節(jié)點(diǎn)為根節(jié)點(diǎn)，從該當(dāng)前節(jié)點(diǎn)開(kāi)始遍歷，確定為動(dòng)態(tài)插入操作的出發(fā)節(jié)點(diǎn)；及

如果檢測(cè)到當(dāng)前節(jié)點(diǎn)的標(biāo)志位為第二數(shù)值，則確定該當(dāng)前節(jié)點(diǎn)不是根節(jié)點(diǎn)，繼續(xù)遍歷下一個(gè)節(jié)點(diǎn)。

3.如權(quán)利要求2所述的電子設(shè)備，其特征在于，若所述改進(jìn)廣義表的當(dāng)前節(jié)點(diǎn)為根節(jié)點(diǎn)，則該當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)包括指針初始化操作和第一構(gòu)造函數(shù)，該第一構(gòu)造函數(shù)在該當(dāng)前節(jié)點(diǎn)的新建節(jié)點(diǎn)對(duì)象沒(méi)有傳遞指定參數(shù)時(shí)，默認(rèn)將該新建節(jié)點(diǎn)對(duì)象的數(shù)據(jù)域?qū)傩栽O(shè)置為指定字符。

4.如權(quán)利要求2所述的電子設(shè)備，其特征在于，若所述改進(jìn)廣義表的當(dāng)前節(jié)點(diǎn)為非根節(jié)點(diǎn)，則該當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)包括指針初始化操作和第二構(gòu)造函數(shù)，該第二構(gòu)造函數(shù)將該當(dāng)前節(jié)點(diǎn)的新建節(jié)點(diǎn)對(duì)象傳遞的指定數(shù)據(jù)值賦值給該新建節(jié)點(diǎn)對(duì)象的數(shù)據(jù)域。

5.如權(quán)利要求2所述的電子設(shè)備，其特征在于，所述將該待處理網(wǎng)頁(yè)地址插入至所述改進(jìn)廣義表包括：將該待處理網(wǎng)頁(yè)地址對(duì)應(yīng)的字符串分割為單個(gè)的字母，所述改進(jìn)廣義表中每個(gè)節(jié)點(diǎn)存儲(chǔ)一個(gè)字母。

6.一種網(wǎng)頁(yè)地址去重方法，應(yīng)用于電子設(shè)備，其特征在于，所述方法包括：

依次讀取一條待處理網(wǎng)頁(yè)地址，于改進(jìn)廣義表中搜索該待處理網(wǎng)頁(yè)地址，其中，所述改進(jìn)廣義表中的每個(gè)節(jié)點(diǎn)權(quán)重相同，且所述改進(jìn)廣義表中的每個(gè)節(jié)點(diǎn)包括一個(gè)判斷當(dāng)前節(jié)點(diǎn)是否為根節(jié)點(diǎn)的標(biāo)志位；

若所述改進(jìn)廣義表中沒(méi)有搜索到該待處理網(wǎng)頁(yè)地址，則將該待處理網(wǎng)頁(yè)地址插入至所述改進(jìn)廣義表，并將該待處理網(wǎng)頁(yè)地址存入待抓取隊(duì)列；及

若所述改進(jìn)廣義表中搜索到該待處理網(wǎng)頁(yè)地址，則停止將該待處理網(wǎng)頁(yè)地址存入待抓取隊(duì)列。

7.如權(quán)利要求6所述的網(wǎng)頁(yè)地址去重方法，其特征在于，所述標(biāo)志位包括第一數(shù)值和第二數(shù)值；

如果檢測(cè)到當(dāng)前節(jié)點(diǎn)的標(biāo)志位為第一數(shù)值，則確定該當(dāng)前節(jié)點(diǎn)為根節(jié)點(diǎn)，從該當(dāng)前節(jié)點(diǎn)開(kāi)始遍歷，確定為動(dòng)態(tài)插入操作的出發(fā)節(jié)點(diǎn)；及

如果檢測(cè)到當(dāng)前節(jié)點(diǎn)的標(biāo)志位為第二數(shù)值，則確定該當(dāng)前節(jié)點(diǎn)不是根節(jié)點(diǎn)，繼續(xù)遍歷下一個(gè)節(jié)點(diǎn)。

8.如權(quán)利要求7所述的網(wǎng)頁(yè)地址去重方法，其特征在于，若所述改進(jìn)廣義表的當(dāng)前節(jié)點(diǎn)為根節(jié)點(diǎn)，則該當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)包括指針初始化操作和第一構(gòu)造函數(shù)，該第一構(gòu)造函數(shù)在該當(dāng)前節(jié)點(diǎn)的新建節(jié)點(diǎn)對(duì)象沒(méi)有傳遞指定參數(shù)時(shí)，默認(rèn)將該新建節(jié)點(diǎn)對(duì)象的數(shù)據(jù)域?qū)傩栽O(shè)置為指定字符；及

若所述改進(jìn)廣義表的當(dāng)前節(jié)點(diǎn)為非根節(jié)點(diǎn)，則該當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)包括指針初始化操作和第二構(gòu)造函數(shù)，該第二構(gòu)造函數(shù)將該當(dāng)前節(jié)點(diǎn)的新建節(jié)點(diǎn)對(duì)象傳遞的指定數(shù)據(jù)值賦值給該新建節(jié)點(diǎn)對(duì)象的數(shù)據(jù)域。

9.如權(quán)利要求7所述的網(wǎng)頁(yè)地址去重方法，其特征在于，所述將該待處理網(wǎng)頁(yè)地址插入至所述改進(jìn)廣義表包括：將該待處理網(wǎng)頁(yè)地址對(duì)應(yīng)的字符串分割為單個(gè)的字母，所述改進(jìn)廣義表中每個(gè)節(jié)點(diǎn)存儲(chǔ)一個(gè)字母。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有網(wǎng)頁(yè)地址去重系統(tǒng)，所述網(wǎng)頁(yè)地址去重系統(tǒng)可被至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器執(zhí)行如權(quán)利要求6-9中任一項(xiàng)所述的網(wǎng)頁(yè)地址去重方法的步驟。