[發(fā)明專利]網(wǎng)頁正文內(nèi)容提取方法及裝置

有效

• 申請?zhí)枺?/td>: 201110147583.7
• 申請日: 2011-06-02
• 公開（公告）號: CN102810097A
• 公開（公告）日: 2012-12-05
• 發(fā)明（設(shè)計(jì)）人: 朱海軍;姜吉發(fā)
• 申請（專利權(quán)）人: 高德軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 郭紅麗

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)信息處理技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)頁正文內(nèi)容提取方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，網(wǎng)頁上的信息越來越豐富，為了更好的使用網(wǎng)頁上的信息，人們不斷追求能夠有效組織和利用網(wǎng)上信息的技術(shù)，但同時(shí)也使得網(wǎng)頁不像傳統(tǒng)的文本那樣整齊、干凈，其中包含著大量的噪音內(nèi)容，例如為了增強(qiáng)用戶交互性而加入的腳本，為了便于用戶瀏覽而加入的導(dǎo)航鏈接，以及出于商業(yè)考慮所加入的廣告鏈接等。

網(wǎng)頁正文提取是指從超文本標(biāo)記語言(HTML，Hyper?Text?Mark-upLanguage)頁面中，去除導(dǎo)航欄、側(cè)邊欄的文字鏈廣告、圖片、版權(quán)等與正文無關(guān)的信息，將網(wǎng)頁的正文內(nèi)容提取出來，網(wǎng)頁正文內(nèi)容提取是搜索引擎中不可或缺的步驟之一。

現(xiàn)有技術(shù)中提取網(wǎng)頁正文的方法主要包括基于視覺特征的提取方法和基于統(tǒng)計(jì)的提取方法，下面對兩種提取方法分別進(jìn)行介紹。

1、基于視覺特征的提取方法

首先基于網(wǎng)頁的視覺特征對網(wǎng)頁的結(jié)構(gòu)進(jìn)行挖掘，其中網(wǎng)頁的視覺特征包括字體、字號、背景顏色、空白區(qū)域、位置信息等，根據(jù)網(wǎng)頁的視覺特征將網(wǎng)頁劃分成各個(gè)視覺信息塊，然后針對每個(gè)視覺信息塊，根據(jù)該視覺信息塊的視覺特征規(guī)律，判斷該視覺信息塊是否為網(wǎng)頁的正文內(nèi)容，例如，網(wǎng)頁正文內(nèi)容中的標(biāo)題部分一般均為固定的字號，而正文內(nèi)容是緊跟標(biāo)題部分的，且正文內(nèi)容的字號一般比標(biāo)題部分的字號小，因此可以根據(jù)上述視覺特征規(guī)律來提取網(wǎng)頁的正文內(nèi)容。

上述基于視覺特征的提取方法主要根據(jù)網(wǎng)頁的視覺特征來提取正文內(nèi)容，而視覺特征有時(shí)并不能很準(zhǔn)確的區(qū)分正文內(nèi)容與非正文內(nèi)容的界限，提取準(zhǔn)確度較低。另外，隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，網(wǎng)頁的格式越來越豐富，針對某些格式的網(wǎng)頁提取正文內(nèi)容時(shí)，可能無法獲取字體、字號、背景顏色、空白區(qū)域、位置信息等視覺特征，或者獲取的視覺特征不準(zhǔn)確。因此采用基于視覺特征的提取方法提取正文內(nèi)容時(shí)的準(zhǔn)確性較低。

2、基于統(tǒng)計(jì)的提取方法

通常認(rèn)為網(wǎng)頁中變化較少的部分一般為冗余內(nèi)容，即噪音，如導(dǎo)航欄、側(cè)邊廣告、版權(quán)信息等，而網(wǎng)頁中經(jīng)常變化的部分一般為網(wǎng)頁的正文內(nèi)容，因此可以構(gòu)建一個(gè)包含大量網(wǎng)頁的訓(xùn)練集，從訓(xùn)練集中統(tǒng)計(jì)出變化較少的區(qū)域以及經(jīng)常變化的區(qū)域，進(jìn)而總結(jié)出對應(yīng)的網(wǎng)頁模板，當(dāng)提取網(wǎng)頁的正文內(nèi)容時(shí)，將該欲提取正文內(nèi)容的網(wǎng)頁與訓(xùn)練集中對應(yīng)的網(wǎng)頁模板進(jìn)行比較，進(jìn)而提取出網(wǎng)頁的正文內(nèi)容。

上述基于統(tǒng)計(jì)的提取方法主要根據(jù)總結(jié)出的網(wǎng)頁模板來提取正文內(nèi)容，而針對每個(gè)網(wǎng)頁而言，其正文內(nèi)容的分布與網(wǎng)頁模板相比可能稍有不同，也就是說，應(yīng)用統(tǒng)一的網(wǎng)頁模板提取網(wǎng)頁正文時(shí)，提取的準(zhǔn)確度相對較低。另外，隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，網(wǎng)頁的格式越來越豐富，很多格式的網(wǎng)頁并不能對應(yīng)統(tǒng)一的網(wǎng)頁模板，例如，網(wǎng)頁1和網(wǎng)頁2都是某網(wǎng)站的網(wǎng)頁，網(wǎng)頁2為該網(wǎng)站進(jìn)行改版后的網(wǎng)頁，網(wǎng)頁1為該網(wǎng)站進(jìn)行改版前的網(wǎng)頁，正文內(nèi)容在網(wǎng)頁1和網(wǎng)頁2中所處的位置不同，那么網(wǎng)頁1對應(yīng)的網(wǎng)頁模板并不能適用于網(wǎng)頁2，若依然根據(jù)該網(wǎng)頁模板對網(wǎng)頁2進(jìn)行正文內(nèi)容的提取，則會使得提取的準(zhǔn)確性較低。

由上可見，現(xiàn)有技術(shù)的網(wǎng)頁正文提取技術(shù)，存在提取準(zhǔn)確性較低的問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種網(wǎng)頁正文內(nèi)容提取方法及裝置，用以解決現(xiàn)有技術(shù)存在的提取網(wǎng)頁正文內(nèi)容準(zhǔn)確性較低的問題。

本發(fā)明實(shí)施例技術(shù)方案如下：

一種網(wǎng)頁正文內(nèi)容提取方法，該方法包括步驟：將需提取正文內(nèi)容的網(wǎng)頁劃分成各內(nèi)容塊；針對劃分出的每個(gè)內(nèi)容塊分別執(zhí)行：確定該內(nèi)容塊的鏈接文本長度及非鏈接文本長度；并根據(jù)確定出的鏈接文本長度和非鏈接文本長度，確定該內(nèi)容塊對應(yīng)的鏈接文本密度；在鏈接文本密度不大于預(yù)設(shè)的第一規(guī)定閾值時(shí)，確定該內(nèi)容塊為該網(wǎng)頁的正文內(nèi)容。

一種網(wǎng)頁正文內(nèi)容提取裝置，包括：內(nèi)容塊劃分單元，用于將需提取正文內(nèi)容的網(wǎng)頁劃分成各內(nèi)容塊；第一文本長度確定單元，用于針對每個(gè)內(nèi)容塊，分別確定該內(nèi)容塊的鏈接文本長度和非鏈接文本長度；第一鏈接文本密度確定單元，用于根據(jù)第一文本長度確定單元確定出的鏈接文本長度和非鏈接文本長度，確定該內(nèi)容塊對應(yīng)的鏈接文本密度；第一鏈接文本密度判斷單元，用于判斷第一鏈接文本密度確定單元確定出的鏈接文本密度是否大于預(yù)設(shè)的第一規(guī)定閾值；正文內(nèi)容確定單元，用于在第一鏈接文本密度判斷單元的判斷結(jié)果為否時(shí)，確定該內(nèi)容塊為該網(wǎng)頁的正文內(nèi)容。