[發明專利]一種網頁核心內容提取方法

有效

• 申請號: 201510413180.0
• 申請日: 2015-07-14
• 公開（公告）號: CN105320734B
• 公開（公告）日: 2019-02-22
• 發明（設計）人: 陳勇;耿光剛
• 申請（專利權）人: 中國互聯網絡信息中心
• 主分類號: G06F16/958
• 分類號: G06F16/958
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 馮藝東

本發明提供一種網頁核心內容的提取方法，包括以下步驟：1)根據網頁代碼中的html標簽，將網頁內容分割為多個段落；2)統計每個段落的字符長度、相鄰段落的間隔距離和段落內部密集程度作為特征值。3)根據所述特征值計算每個段落的核心特征值。根據網頁中各個段落的核心特征值分布情況，得到核心特征值最為集中的范圍,核心特征值在此閾值范圍內的段落即為網頁的核心段落，從而得到網頁的核心內容。與現有技術相比具有以下優點：不單純依賴于html標簽，充分考慮到文本段落本身特征、段落布局之間的特征，因而準確率高。實施并不依賴于特定類型的網頁，具有通用性，能處理互聯網上各類常見的網頁。實施簡單，計算量小，處理效率高。

技術領域

本發明涉及信息技術領域，尤其涉及互聯網信息處理技術領域，具體涉及一種網頁核心內容提取方法。

背景技術

隨著互聯網的發展，互聯網站網頁數目、互聯網用戶都不斷增長，互聯網網頁內容成為了人們獲取信息的一個不可或缺的渠道。而在商業運作的因素下，為用戶提供原始信息的網站，會在其包含有價值數據的網頁中提供一些額外的信息，如廣告數據以及對其他站點相關內容的鏈接(這些廣告、鏈接數據可能是文本，也可能是圖片，甚至可能是插件)；這些廣告、鏈接等數據的不斷加入也使得本來應該很精簡的頁面外觀變得繁瑣；各類的網頁制作工具以及各種動態元素的加入也使得頁面的內在結構變得復雜。

網頁內容與結構的日趨復雜影響用戶閱讀體驗，耗費大量互聯網帶寬資源，這些數據不僅影響了網頁信息瀏覽的效率，如果應用于檢索的話，還會導致檢索的準確性降低。如何準確快速分析獲取網頁核心內容成為眾多Web內容處理應用(如搜索引擎、網絡歸檔、信息收集系統等)迫切需要解決的一個難題。

另外，移動互聯網的蓬勃發展使得在移動端瀏覽網頁成為大勢所趨，而移動端所具有的屏幕小、流量受限等特點，無法顯示常規網頁中的所有內容，這也使得網頁核心內容的有效提取變得更為迫切。

現有技術中提取網頁核心內容的方法一般有如下幾種方法：

1.根據網頁中行與行的字符數進行確定

1)針對網頁，確定第i行和第(i+1)行內容的字符總數和中文字符數；

2)計算第i行和第(i+1)行內容的文本密度，例如可以用中文字符數除以字符總數計算文本密度；

3)將計算得到的文本密度與預設的閥值進行比較；

4)若比較結果為文本密度不小于預設的閥值，則確定第i行和第(i+1)行為核心內容，若比較結果為文本密度小于預設的閥值，則確定第i行和第(i+1)行內容為非核心內容；

5)若確定出第i行和第(i+1)行內容為核心內容，則按照上述方法確定第i行、第(i+1)行以及第(i+2)行內容是否為核心內容；

6)若確定出第i行和第(i+1)行內容為非核心內容，則按照上述方法確定第(i+2)行和第(i+3)行內容是否為核心內容；

7)執行上述步驟，直至遍歷該網頁的所有行。

現有技術的上述方法，在提取網頁核心內容時，若連續多行內容的文本密度不小于預設閥值，就認為該連續多行內容為正文內容，但是現在很多網頁中，存在較多干擾度較高的非核心內容，例如個人信息、短文摘要、免責申明等，這些非核心內容同樣具有文本密度較大的特點，很可能大于預設的閥值，從而配誤認為核心內容；而調整閥值的話，有可能將核心內容誤判為非核心內容，從而使得核心內容的提取準確性降低。

另外，由于上述方法算法比較繁瑣遇到網頁加載了大量內容的情況時，可能需要較長的處理時長才能完成網頁核心內容的提取，影響用戶的體驗感受，也無法滿足現階段對信息技術越來越傾向于高速高效的信息處理的要求。

2.利用網頁結構布局信息對網頁進行區域分割，提取核心網頁塊的內容