[發(fā)明專(zhuān)利]一種關(guān)聯(lián)網(wǎng)頁(yè)數(shù)據(jù)庫(kù)的建立方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201310607854.1
• 申請(qǐng)日: 2013-11-25
• 公開(kāi)（公告）號(hào): CN103617229A
• 公開(kāi)（公告）日: 2014-03-05
• 發(fā)明（設(shè)計(jì)）人: 王智廣
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 趙娟

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)的技術(shù)領(lǐng)域，具體涉及一種關(guān)聯(lián)網(wǎng)頁(yè)數(shù)據(jù)庫(kù)的建立方法、一種關(guān)聯(lián)網(wǎng)頁(yè)數(shù)據(jù)庫(kù)的建立裝置。

背景技術(shù)

隨著因特網(wǎng)的發(fā)展，愈來(lái)愈多的信息是通過(guò)網(wǎng)頁(yè)方式呈現(xiàn)在因特網(wǎng)上供用戶查詢，同樣的通過(guò)搜尋引擎在因特網(wǎng)中查詢數(shù)據(jù)也成為最常使用的數(shù)據(jù)搜尋方法。

搜索引擎收錄網(wǎng)頁(yè)時(shí)需要針對(duì)不同種類(lèi)的網(wǎng)頁(yè)采取不同的調(diào)度策略，網(wǎng)頁(yè)種類(lèi)的識(shí)別是一項(xiàng)基礎(chǔ)工作，其中翻頁(yè)（Page?turning）網(wǎng)頁(yè)的識(shí)別是一項(xiàng)比較關(guān)鍵的工作。所謂翻頁(yè)網(wǎng)頁(yè)，即查看分頁(yè)文件的上一個(gè)頁(yè)面、下一個(gè)頁(yè)面或任意存在的非當(dāng)前頁(yè)面。翻頁(yè)網(wǎng)頁(yè)可以將實(shí)體書(shū)或者移動(dòng)Web窗體中的內(nèi)容進(jìn)行改變，以觀看不同內(nèi)容。在互聯(lián)網(wǎng)上運(yùn)用時(shí)該機(jī)制還呈現(xiàn)可用于瀏覽到其他頁(yè)的用戶界面元素。

現(xiàn)有的翻頁(yè)網(wǎng)頁(yè)的識(shí)別方法是根據(jù)網(wǎng)頁(yè)的URL（Uniform?Resource?Locator，統(tǒng)一資源定位符）所包含的關(guān)鍵詞來(lái)識(shí)別是否是索引頁(yè)。例如，當(dāng)URL包含有page、pn、p等關(guān)鍵詞以及關(guān)鍵詞后面有數(shù)字時(shí)，判斷該URL對(duì)應(yīng)的網(wǎng)頁(yè)為翻頁(yè)網(wǎng)頁(yè)。

但是，這種識(shí)別方法召回率低，并且很多網(wǎng)站的翻頁(yè)是不具有這些關(guān)鍵詞的，比如“http://cq.ABC.com/lvshi/o12/”、“http://bbs.BCA.com/t661_10”、“http://china.BCD.com/product/20110617/2647”，但是這些網(wǎng)頁(yè)依然是翻頁(yè)，使得這些識(shí)別方法容易造成誤操作，實(shí)用性低。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的一種關(guān)聯(lián)網(wǎng)頁(yè)數(shù)據(jù)庫(kù)的建立方法和相應(yīng)的一種關(guān)聯(lián)網(wǎng)頁(yè)數(shù)據(jù)庫(kù)的建立裝置。

依據(jù)本發(fā)明的一個(gè)方面，提供了一種關(guān)聯(lián)網(wǎng)頁(yè)數(shù)據(jù)庫(kù)的建立方法，包括：

判斷抓取到的網(wǎng)頁(yè)是否包括關(guān)聯(lián)網(wǎng)頁(yè)URL模式；若是，則獲取所述關(guān)聯(lián)網(wǎng)頁(yè)URL模式；

基于所述關(guān)聯(lián)網(wǎng)頁(yè)URL模式獲取對(duì)應(yīng)的關(guān)聯(lián)網(wǎng)頁(yè)；

采用所述關(guān)聯(lián)網(wǎng)頁(yè)URL模式對(duì)應(yīng)的關(guān)聯(lián)網(wǎng)頁(yè)建立關(guān)聯(lián)網(wǎng)頁(yè)數(shù)據(jù)庫(kù)。

可選地，所述判斷抓取到的網(wǎng)頁(yè)是否包括關(guān)聯(lián)網(wǎng)頁(yè)URL模式的步驟包括：

判斷當(dāng)前網(wǎng)頁(yè)的頁(yè)面元素中是否具有翻頁(yè)特征字符串；若是，則提取所述翻頁(yè)特征字符串鏈接的URL；

采用預(yù)置的替換字符替換當(dāng)前網(wǎng)頁(yè)的URL中的數(shù)字塊，獲得第一特征URL前綴；其中，所述數(shù)字塊為被間隔標(biāo)識(shí)分割出的單個(gè)數(shù)字或多個(gè)數(shù)字；

采用預(yù)置的替換字符替換所述翻頁(yè)特征字符串鏈接的URL中的數(shù)字塊，獲得第二特征URL前綴；

當(dāng)所述第一特征URL前綴與所述第二特征URL前綴相同時(shí)，則判定抓取到的網(wǎng)頁(yè)是否包括關(guān)聯(lián)網(wǎng)頁(yè)URL模式。

可選地，所述判斷當(dāng)前網(wǎng)頁(yè)的頁(yè)面元素中是否具有翻頁(yè)特征字符串的步驟包括：

采用翻頁(yè)特征字符串在當(dāng)前網(wǎng)頁(yè)的DOM樹(shù)節(jié)點(diǎn)中進(jìn)行匹配；

當(dāng)匹配成功時(shí)，則判斷當(dāng)前網(wǎng)頁(yè)具有翻頁(yè)特征字符串。

可選地，所述采用預(yù)置的替換字符替換當(dāng)前網(wǎng)頁(yè)的URL中的數(shù)字塊，獲得第一特征URL前綴的步驟為：

采用相同的替換字符替換當(dāng)前網(wǎng)頁(yè)的URL中不同位置的數(shù)字塊，獲得第一特征URL前綴；

所述采用預(yù)置的替換字符替換所述翻頁(yè)特征字符串鏈接的URL中的數(shù)字塊，獲得第二特征URL前綴的步驟為：

采用相同的替換字符替換所述特征字符串鏈接的URL中不同位置的數(shù)字塊，獲得第二特征URL前綴。

可選地，所述采用預(yù)置的替換字符替換當(dāng)前網(wǎng)頁(yè)的URL中的數(shù)字塊，獲得第一特征URL前綴的步驟為：

分別采用不同的替換字符，替換當(dāng)前網(wǎng)頁(yè)的URL中不同位置的數(shù)字塊，獲得第一特征URL前綴；

所述采用預(yù)置的替換字符替換所述翻頁(yè)特征字符串鏈接的URL中的數(shù)字塊，獲得第二特征URL前綴的步驟為：

分別采用與第一特征URL相同的替換字符替換所述翻頁(yè)特征字符串鏈接的URL在相同位置的數(shù)字塊，獲得第二特征URL前綴。

可選地，所述采用所述關(guān)聯(lián)網(wǎng)頁(yè)URL模式獲取對(duì)應(yīng)的關(guān)聯(lián)網(wǎng)頁(yè)的步驟包括：

將所述第一特征URL前綴或第二特征URL前綴作為所述當(dāng)前網(wǎng)頁(yè)的對(duì)應(yīng)的關(guān)聯(lián)網(wǎng)頁(yè)URL模式。

可選地，所述獲取所述關(guān)聯(lián)網(wǎng)頁(yè)URL模式對(duì)應(yīng)的關(guān)聯(lián)網(wǎng)頁(yè)的步驟包括：

通過(guò)對(duì)關(guān)聯(lián)網(wǎng)頁(yè)URL模式中的共性部分進(jìn)行結(jié)構(gòu)分析，提取關(guān)聯(lián)網(wǎng)頁(yè)URL模式中的翻頁(yè)塊，將所述翻頁(yè)塊替換為首頁(yè)標(biāo)識(shí)獲得首頁(yè)關(guān)聯(lián)網(wǎng)頁(yè)的URL；其中，所述翻頁(yè)塊為多個(gè)關(guān)聯(lián)網(wǎng)頁(yè)URL模式中位置相同但數(shù)字不同的數(shù)字塊；