[發明專利]網頁內容提取方法和裝置

有效

• 申請號: 201710418653.5
• 申請日: 2017-06-06
• 公開（公告）號: CN107153716B
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 余婷婷;胡飛
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F40/143;G06K9/62
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了網頁內容提取方法和裝置。所述的網頁內容提取方法包括：解析待提取網頁以確定待提取網頁包含的超文本標記語言html標簽；從html標簽中提取出待提取網頁的html特征；將所提取出的html特征導入預先訓練的圖片網頁識別模型；以及響應于確定待提取網頁為圖片網頁，提取待提取網頁中的圖片和與圖片對應的html標簽。該實施方式可以基于待提取網頁的類型(例如圖片類型和非圖片類型)，來采用不同的策略提取網頁內容，實現了網頁內容提取的準確性、全面性的提升。

技術領域

本申請涉及計算機技術領域，具體涉及互聯網技術領域，尤其涉及網頁內容提取方法和裝置。

背景技術

對于Web數據挖掘來說，網頁的正文內容提取通常作為數據挖掘前期的基礎步驟。能不能高效準確地提取出網頁正文內容，并很容易地推廣至各個網站，決定了后續數據挖掘的效果。

現有技術中，通常僅采用單一的提取算法來對網頁正文內容進行提取。由于網站子頁面多而且形式較為多樣，網站主體可能是文字，也可能是圖片甚至圖文混雜，內部的網站標簽也多種多樣；此外，網站中既存在大量不需要提取內容的部分如首頁導航頁、列表頁等，又存在需要提取素材的內容頁。如果不加分辨地采用單一算法進行提取，很容易提取到過多噪聲，無法滿足網頁正文內容提取的準確性和全面性兩方面的要求。

發明內容

本申請的目的在于提出一種改進的網頁內容提取方法和裝置，來解決以上背景技術部分提到的技術問題。

第一方面，本申請提供了一種網頁內容提取方法，包括：解析待提取網頁以確定待提取網頁包含的超文本標記語言html標簽；從html標簽中提取出待提取網頁的html特征；將所提取出的html特征導入預先訓練的圖片網頁識別模型；以及響應于確定待提取網頁為圖片網頁，提取待提取網頁中的圖片和與圖片對應的html標簽。

在一些實施例中，方法還包括：響應于確定待提取網頁為非圖片網頁，將所提取出的html特征導入預先訓練的素材網頁識別模型；響應于確定待提取網頁為素材網頁，提取待提取網頁中的圖片和文本。

在一些實施例中，從html標簽中提取出待提取網頁的html特征，包括：從html標簽中篩選出與待提取網頁的正文相對應的html正文標簽；遍歷待提取網頁的各html正文標簽以確定待提取網頁的html特征。

在一些實施例中，html特征包括以下至少一者：類別為圖片標簽的html正文標簽占待提取網頁的html正文標簽的比例；類別為超鏈接標簽的html正文標簽占待提取網頁的html正文標簽的比例；類別為表單標簽的html正文標簽占待提取網頁的html正文標簽的比例；待提取網頁的各html正文標簽的文本密度，文本密度為該html正文標簽所包含的文本長度與待提取網頁的各html正文標簽所包含的文本長度之和的比例；以及待提取網頁的各html正文標簽的文本密度的統計特征。

在一些實施例中，在解析待提取網頁以確定待提取網頁包含的第一超文本標記語言html標簽之前，方法還包括：響應于接收到網頁的統一資源定位符URL，解析與網頁隸屬于同一網站的各網頁作為待提取網頁。

第二方面，本申請提供了一種網頁內容提取裝置，包括：解析模塊，配置用于解析待提取網頁以確定待提取網頁包含的超文本標記語言html標簽；特征提取模塊，配置用于從html標簽中提取出待提取網頁的html特征；圖片網頁識別模塊，配置用于將所提取出的html特征導入預先訓練的圖片網頁識別模型；以及圖片內容特征提取模塊，配置用于響應于確定待提取網頁為圖片網頁，提取待提取網頁中的圖片和與圖片對應的html標簽。

在一些實施例中，裝置還包括：素材網頁識別模塊，配置用于響應于確定待提取網頁為非圖片網頁，將所提取出的html特征導入預先訓練的素材網頁識別模型；素材內容特征提取模塊，配置用于響應于確定待提取網頁為素材網頁，提取待提取網頁中的圖片和文本。