[發(fā)明專利]一種基于URL和網(wǎng)頁文檔結(jié)構(gòu)的相似性的網(wǎng)頁內(nèi)容提取方法

在審

• 申請?zhí)枺?/td>: 201711402917.4
• 申請日: 2017-12-22
• 公開（公告）號(hào): CN110020055A
• 公開（公告）日: 2019-07-16
• 發(fā)明（設(shè)計(jì)）人: 趙廷江
• 申請（專利權(quán)）人: 趙廷江
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/957
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及一種基于URL和網(wǎng)頁文檔結(jié)構(gòu)的相似性的網(wǎng)頁內(nèi)容提取方法，包括下述步驟：1)相似性的判斷：URL相似度計(jì)算，DOM相似度計(jì)算，URL相似度和DOM結(jié)構(gòu)的相似度計(jì)算兩個(gè)網(wǎng)頁的相似度在是否在預(yù)先設(shè)定的閾值范圍內(nèi)，在所述計(jì)算兩個(gè)網(wǎng)頁的相似度的步驟中，2)相似性的網(wǎng)頁內(nèi)容提取：判斷兩個(gè)網(wǎng)頁為相似，提取兩個(gè)網(wǎng)頁的共有的DOM結(jié)構(gòu)；網(wǎng)頁信息提取步驟，在所述DOM結(jié)構(gòu)提取步驟中已提取的共有DOM結(jié)構(gòu)中提取相似網(wǎng)頁對(duì)應(yīng)信息，這樣能夠提升相似頁面信息抽取效率和精度。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)，具體地涉及一種基于URL和網(wǎng)頁文檔結(jié)構(gòu)的相似性的網(wǎng)頁內(nèi)容提取方法。

背景技術(shù)

一般而言，網(wǎng)頁包含的信息豐富復(fù)雜，可以包括導(dǎo)航、標(biāo)題、正文、時(shí)間、甚至廣告等內(nèi)容。為了在網(wǎng)頁中抽取有效的內(nèi)容，就需要對(duì)網(wǎng)頁繼續(xù)精細(xì)的分析，網(wǎng)絡(luò)爬蟲能夠高效地將海量的網(wǎng)頁數(shù)據(jù)下載到本地，在本地形成互聯(lián)網(wǎng)網(wǎng)頁的鏡像備份，在信息檢索與處理中有很大的作用，是收集網(wǎng)絡(luò)信息的重要工具，是搜索引擎的重要組成部分，對(duì)于網(wǎng)絡(luò)爬蟲來說，抓取下來的網(wǎng)頁包括各種格式，其中最常見的是HTML。這些文件抓取下來后，需要把這些文件中的鏈接和文本等信息提取出來。準(zhǔn)確提取這些文檔的信息不但會(huì)影響后續(xù)信息檢索的準(zhǔn)確性，而且會(huì)對(duì)正確跟蹤其他鏈接產(chǎn)生一定的影響。傳統(tǒng)的網(wǎng)絡(luò)爬蟲在抽取HTML信息時(shí)，一般采用正則表達(dá)式、關(guān)鍵字識(shí)別等方式來識(shí)別和抽取網(wǎng)頁中的文本、鏈接等信息。但是許多網(wǎng)頁中都包含和內(nèi)容無關(guān)的文本、鏈接、圖片和Flash動(dòng)畫等信息，所以需要花費(fèi)時(shí)間和資源對(duì)每個(gè)網(wǎng)頁采取去噪措施。而且，在這種方式下，對(duì)網(wǎng)頁信息的抽取都是在離散情況下進(jìn)行，而同一站點(diǎn)下網(wǎng)頁一般存在很大的相似性，我們就無法利用這種相似性和歷史的分析成果來提高當(dāng)前頁面的分析抽取效率。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種能夠提升相似頁面信息抽取效率和精度的一種基于URL和網(wǎng)頁文檔結(jié)構(gòu)的相似性的網(wǎng)頁內(nèi)容提取方法。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于URL和網(wǎng)頁文檔結(jié)構(gòu)的相似性的網(wǎng)頁內(nèi)容提取方法，包括下述步驟：

1)相似性的判斷：

URL相似度計(jì)算步驟，在所述計(jì)算兩個(gè)網(wǎng)頁的相似度的步驟中，根據(jù)以下公式1來計(jì)算：公式1：page_Cos＝X1*url_Cos+X2*dom_Cos

其中，page_Cos表示是兩個(gè)網(wǎng)頁的相似度，url_Cos表示兩個(gè)網(wǎng)頁的URL的相似度，dom_Cos表示兩個(gè)網(wǎng)頁的DOM結(jié)構(gòu)的相似度，X1，X2表示兩種相似度因素的權(quán)重，并且X1+X2＝1，來計(jì)算兩個(gè)網(wǎng)頁的URL相似度，URL的相同前綴包含的目錄深度占總路徑深度的比例表示URL的相似度；

DOM結(jié)構(gòu)相似度計(jì)算步驟，從根節(jié)點(diǎn)出發(fā)，深度遍歷每個(gè)子節(jié)點(diǎn)，比較對(duì)應(yīng)葉子節(jié)點(diǎn)來的類型；如果對(duì)應(yīng)葉子節(jié)點(diǎn)的類型一致，則相似度為1，否則為0；將所有葉子節(jié)點(diǎn)的相似度均值作為兩個(gè)網(wǎng)頁的相似度，來計(jì)算兩個(gè)網(wǎng)頁DOM結(jié)構(gòu)的相似度；

網(wǎng)頁相似度計(jì)算步驟，基于URL相似度和DOM結(jié)構(gòu)的相似度計(jì)算兩個(gè)網(wǎng)頁的相似度；

網(wǎng)頁相似性判斷，將計(jì)算出的網(wǎng)頁的相似度與預(yù)定設(shè)定的閾值范圍進(jìn)行比較，如果在預(yù)先設(shè)定的閾值范圍內(nèi)則判斷兩個(gè)網(wǎng)頁為相似；

2)相似性的網(wǎng)頁內(nèi)容提取：

判斷兩個(gè)網(wǎng)頁為相似，提取兩個(gè)網(wǎng)頁的共有的DOM結(jié)構(gòu)；

網(wǎng)頁信息提取步驟，在所述DOM結(jié)構(gòu)提取步驟中已提取的共有DOM結(jié)構(gòu)中提取相似網(wǎng)頁對(duì)應(yīng)信息。

進(jìn)一步，在所述計(jì)算網(wǎng)頁的相似度的步驟中，根據(jù)以下公式1來計(jì)算：公式1：page_Cos＝X1*urLCos+X2*dom_Cos