[發明專利]一種基于分塊的網頁正文信息提取方法在審
| 申請號： | 201710349695.8 | 申請日： | 2017-05-17 |
| 公開（公告）號： | CN108509469A | 公開（公告）日： | 2018-09-07 |
| 發明（設計）人： | 姚國平 | 申請（專利權）人： | 蘇州純青智能科技有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 北京華識知識產權代理有限公司 11530 | 代理人： | 陳敏 |
| 地址： | 215400 江蘇省蘇*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 分塊 信息提取 網頁正文 標簽樹 內容塊 網頁 復雜結構 特征分析 網頁分割 網頁分塊 頁面分塊 重要度 成塊 算法 標準化 分析 | ||
1.一種基于分塊的網頁正文信息提取方法，其特征在于：包括以下步驟：
網頁標準化：首先對HTML代碼進行預處理，將其標準化；
構造標簽樹：將整理好的規范網頁構造標簽樹，將網頁中的標簽按照嵌套關系整理成一棵樹狀結構，在構造的過程中保留每個節點的視覺屬性，同時，對標簽樹做裁剪，將無關節點刪除；
將網頁分割成塊，依據網頁中內容塊標簽作為容器標簽對網頁進行劃分；
a、通過統計標簽樹上的各種容器標簽的數量進行統計，判斷網頁是采用哪種容器標簽來做布局；
b、考察最底層容器標簽節點，將標簽樹最底層的節點下的所有文本節點合并，并統計該塊的信息含量，同時考察視覺特征；
c、考察每個底層節點的上一層節點，并計算該節點的信息含量，判斷該節點能否成為分塊節點；
提取含有正文的塊
分塊結束后，對內容塊根據用戶的不同需要進行取舍，取出含有正文信息的內容塊。
2.根據權利要求1所述一種基于分塊的網頁正文信息提取方法，其特征在于：所述步驟中構造標簽樹的方法采用DOM標簽樹構造工具。
3.根據權利要求1所述一種基于分塊的網頁正文信息提取方法，其特征在于：所述步驟中依據網頁中內容塊標簽作為容器標簽對網頁進行劃分，其它類型的標簽信息作為所在內容塊的屬性。
4.根據權利要求1所述一種基于分塊的網頁正文信息提取方法，其特征在于：所述視覺特征包括表格的大小、位置、字體的大小和顏色、以及段落的長短。
5.根據權利要求1所述一種基于分塊的網頁正文信息提取方法，其特征在于：所述步驟中，依據內容塊的重要度以及塊特征對內容塊進行取舍。
6.根據權利要求5所述一種基于分塊的網頁正文信息提取方法，其特征在于：所述塊特征包括空間特征和內容特征，所述空間特征包括內容塊的位置和大小，內容特征包括文字長度、鏈接數量和圖片數量。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于蘇州純青智能科技有限公司，未經蘇州純青智能科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710349695.8/1.html，轉載請聲明來源鉆瓜專利網。
