[發(fā)明專利]中文網(wǎng)頁(yè)文本除重系統(tǒng)及方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201010281715.0
• 申請(qǐng)日: 2010-09-15
• 公開(kāi)（公告）號(hào): CN102402537A
• 公開(kāi)（公告）日: 2012-04-04
• 發(fā)明（設(shè)計(jì)）人: 陳運(yùn)文
• 申請(qǐng)（專利權(quán)）人: 盛樂(lè)信息技術(shù)（上海）有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 上海浦一知識(shí)產(chǎn)權(quán)代理有限公司 31211
• 代理人: 劉昌榮

技術(shù)領(lǐng)域

本發(fā)明涉及一種中文網(wǎng)頁(yè)文本除重系統(tǒng)，本發(fā)明還涉及一種利用上述除重系統(tǒng)去除重復(fù)中文網(wǎng)頁(yè)的方法。

背景技術(shù)

目前，互聯(lián)網(wǎng)中的信息數(shù)量正在以爆炸式的速度增長(zhǎng)，用戶必須借助搜索引擎才能在互聯(lián)網(wǎng)海量的信息中查找到自己想要的信息。全文搜索引擎，如google、百度等，是真正意義上的搜索引擎，它通常會(huì)定期派出“蜘蛛”(spider)程序，按照一定規(guī)則抓取互聯(lián)網(wǎng)上的網(wǎng)頁(yè)，保存到本地存儲(chǔ)系統(tǒng)中，當(dāng)用戶在搜索引擎的檢索界面輸入查詢關(guān)鍵詞后，搜索引擎就在本地的網(wǎng)頁(yè)數(shù)據(jù)庫(kù)中查找與查詢條件匹配的記錄，并按照一定的排序規(guī)則將檢索結(jié)果返回給用戶。

但是，由于互聯(lián)網(wǎng)上的信息經(jīng)常被互相轉(zhuǎn)載，導(dǎo)致信息的重復(fù)率很高，這使得搜索引擎檢索出的網(wǎng)頁(yè)中往往存在大量?jī)?nèi)容相同的重復(fù)網(wǎng)頁(yè)。重復(fù)網(wǎng)頁(yè)有多種表現(xiàn)形式，有的是沒(méi)有一點(diǎn)改動(dòng)的拷貝；有的在內(nèi)容上稍作了修改，比如，增加少量點(diǎn)評(píng)，刪除少許文字，或改變文字段落順序；有的則進(jìn)行了細(xì)微的格式變化，比如，改變字體，修改標(biāo)點(diǎn)，改變文字大小寫(xiě)等。據(jù)統(tǒng)計(jì)，互聯(lián)網(wǎng)的網(wǎng)頁(yè)中，內(nèi)容大部分相同的頁(yè)面占29％，而主體內(nèi)容完全相同的頁(yè)面占22％，也就是說(shuō)，互聯(lián)網(wǎng)上的全部網(wǎng)頁(yè)中，約有1/4是重復(fù)的網(wǎng)頁(yè)。

對(duì)于搜索引擎來(lái)說(shuō)，這些存在于互聯(lián)網(wǎng)中的數(shù)量龐大的重復(fù)網(wǎng)頁(yè)，會(huì)帶來(lái)很多問(wèn)題。由于搜索引擎會(huì)將spider程序抓取到的網(wǎng)頁(yè)下載并保存到本地存儲(chǔ)系統(tǒng)中，而存儲(chǔ)系統(tǒng)的容量是有限制的，大量重復(fù)網(wǎng)頁(yè)會(huì)浪費(fèi)搜索引擎的資源，擠占其他有價(jià)值網(wǎng)頁(yè)的存儲(chǔ)空間，此外，搜索引擎的檢索效率也會(huì)因?yàn)楸镜鼐W(wǎng)頁(yè)數(shù)據(jù)庫(kù)數(shù)據(jù)量的增加而降低，如此不僅浪費(fèi)了用戶的時(shí)間，也影響了用戶的搜索體驗(yàn)。

網(wǎng)頁(yè)除重，即去除互聯(lián)網(wǎng)上的重復(fù)網(wǎng)頁(yè)，是解決上述問(wèn)題的有效方法，但是，由于搜索引擎收錄的網(wǎng)頁(yè)數(shù)量極其龐大，約在千萬(wàn)頁(yè)以上，像google這種大型搜索引擎收錄的網(wǎng)頁(yè)數(shù)量更是多達(dá)幾十億，而且網(wǎng)頁(yè)的存在形式也很復(fù)雜多樣，如果直接將spider程序新抓取的一個(gè)網(wǎng)頁(yè)和搜索引擎系統(tǒng)中已收錄的海量網(wǎng)頁(yè)逐一進(jìn)行比對(duì)，計(jì)算的復(fù)雜度會(huì)非常高，例如，假設(shè)搜索引擎收錄的文檔數(shù)為n，文檔平均長(zhǎng)度為m，如果相似度計(jì)算的復(fù)雜度是T，T是m的函數(shù)，即T＝T(m)，文檔兩兩比較的復(fù)雜度是0(n^2)，則合起來(lái)的復(fù)雜度就是0(n^2×T(m))，這樣的復(fù)雜度，對(duì)于搜索引擎這種需要處理海量數(shù)據(jù)的系統(tǒng)，顯然是難以接受的。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題是提供一種中文網(wǎng)頁(yè)文本除重系統(tǒng)，它可以快速、準(zhǔn)確地識(shí)別并去除互聯(lián)網(wǎng)中大量?jī)?nèi)容重復(fù)的中文網(wǎng)頁(yè)。

為解決上述技術(shù)問(wèn)題，本發(fā)明的中文網(wǎng)頁(yè)文本除重系統(tǒng)，包括：

索引服務(wù)器，用于計(jì)算中文網(wǎng)頁(yè)的數(shù)字簽名，該索引服務(wù)器進(jìn)一步包括網(wǎng)頁(yè)文本預(yù)處理模塊、組合特征句提取模塊以及數(shù)字簽名計(jì)算模塊，該網(wǎng)頁(yè)文本預(yù)處理模塊用于對(duì)中文網(wǎng)頁(yè)文本進(jìn)行歸一化處理；該組合特征句提取模塊用于提取經(jīng)網(wǎng)頁(yè)文本預(yù)處理模塊處理后的文本的組合特征句；該數(shù)字簽名計(jì)算模塊用于計(jì)算組合特征句的數(shù)字簽名，并將計(jì)算得到的數(shù)字簽名傳給檢索服務(wù)器；

檢索服務(wù)器，用于判斷中文網(wǎng)頁(yè)是否重復(fù)，該檢索服務(wù)器進(jìn)一步包括網(wǎng)頁(yè)文本抓取模塊和哈希查詢模塊，該網(wǎng)頁(yè)文本抓取模塊用于抓取互聯(lián)網(wǎng)上的中文網(wǎng)頁(yè)文本，并傳給索引服務(wù)器；該哈希查詢模塊中包含有用于存放搜索引擎系統(tǒng)已保存網(wǎng)頁(yè)的數(shù)字簽名的哈希表，該哈希查詢模塊用于查詢待判定網(wǎng)頁(yè)的數(shù)字簽名是否與哈希表中的值存在重復(fù)，如果不存在重復(fù)，則將該待判定網(wǎng)頁(yè)的數(shù)字簽名加入到哈希表中。

本發(fā)明要解決的另一技術(shù)問(wèn)題是提供一種利用上述除重系統(tǒng)進(jìn)行中文網(wǎng)頁(yè)文本除重的方法。

為解決上述技術(shù)問(wèn)題，本發(fā)明的中文網(wǎng)頁(yè)文本除重方法，包括如下步驟：

1)網(wǎng)頁(yè)文本歸一化處理，即對(duì)文本的編碼，文本中的全角、半角字符以及大、小寫(xiě)字符進(jìn)行一致性轉(zhuǎn)換；

2)提取文本的組合特征句；

3)計(jì)算組合特征句的數(shù)字簽名；

4)查找哈希表，判定數(shù)字簽名是否與哈希表中的值存在重復(fù)，若存在重復(fù)，則去除該網(wǎng)頁(yè)；若不存在重復(fù)，則將該網(wǎng)頁(yè)保存到搜索引擎系統(tǒng)中，并將其數(shù)字簽名添加到哈希表中；

5)重復(fù)步驟1)至4)，判定下一個(gè)待處理網(wǎng)頁(yè)文本；

所述步驟2)進(jìn)一步包括如下步驟：

21)判定文本的長(zhǎng)度，若小于文本長(zhǎng)度閾值，則從該文本中提取特征字符，作為組合特征句；若大于或者等于文本長(zhǎng)度閾值，則轉(zhuǎn)到步驟22)；

22)設(shè)置特征句分隔符列表，該特征句分隔符列表中的字符定義為分隔符；

23)依次遍歷文本，提取候選組合特征句；