[發明專利]網頁內容提取方法和裝置

有效

• 申請號: 201710418653.5
• 申請日: 2017-06-06
• 公開（公告）號: CN107153716B
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 余婷婷;胡飛
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F40/143;G06K9/62
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種網頁內容提取方法，其特征在于，包括：

解析待提取網頁以確定所述待提取網頁包含的html標簽；

從所述html標簽中提取出所述待提取網頁的html特征，包括：從所述html標簽中篩選出與所述待提取網頁的正文相對應的html正文標簽；遍歷所述待提取網頁的各所述html正文標簽以確定所述待提取網頁的html特征，其中，所述html特征包括：類別為圖片標簽的html正文標簽占所述待提取網頁的html正文標簽的比例和類別為超鏈接標簽的html正文標簽占所述待提取網頁的html正文標簽的比例；

將所提取出的html特征導入預先訓練的圖片網頁識別模型；以及

響應于確定所述待提取網頁為圖片網頁，提取所述待提取網頁中的圖片和與所述圖片對應的html標簽；

所述方法還包括：響應于確定所述待提取網頁為非圖片網頁，將所提取出的html特征導入預先訓練的素材網頁識別模型；響應于確定所述待提取網頁為素材網頁，提取所述待提取網頁中的圖片和文本。

2.根據權利要求1所述的方法，其特征在于，所述html特征還包括以下至少一者：

類別為表單標簽的html正文標簽占所述待提取網頁的html正文標簽的比例；

所述待提取網頁的各所述html正文標簽的文本密度，所述文本密度為該html正文標簽所包含的文本長度與所述待提取網頁的各所述html正文標簽所包含的文本長度之和的比例；以及

所述待提取網頁的各所述html正文標簽的文本密度的統計特征。

3.根據權利要求1-2任意一項所述的方法，其特征在于，在所述解析待提取網頁以確定所述待提取網頁包含的第一html標簽之前，所述方法還包括：

響應于接收到網頁的統一資源定位符URL，解析與所述網頁隸屬于同一網站的各網頁作為待提取網頁。

4.一種網頁內容提取裝置，其特征在于，包括：

解析模塊，配置用于解析待提取網頁以確定所述待提取網頁包含的html標簽；

特征提取模塊，配置用于從所述html標簽中提取出所述待提取網頁的html特征，其中，所述html特征包括：類別為圖片標簽的html正文標簽占所述待提取網頁的html正文標簽的比例和類別為超鏈接標簽的html正文標簽占所述待提取網頁的html正文標簽的比例；

圖片網頁識別模塊，配置用于將所提取出的html特征導入預先訓練的圖片網頁識別模型；以及

圖片內容特征提取模塊，配置用于響應于確定所述待提取網頁為圖片網頁，提取所述待提取網頁中的圖片和與所述圖片對應的html標簽；

所述特征提取模塊進一步配置用于：從所述html標簽中篩選出與所述待提取網頁的正文相對應的html正文標簽；以及遍歷所述待提取網頁的各所述html正文標簽以確定所述待提取網頁的html特征；

所述裝置還包括：素材網頁識別模塊，配置用于響應于確定所述待提取網頁為非圖片網頁，將所提取出的html特征導入預先訓練的素材網頁識別模型；素材內容特征提取模塊，配置用于響應于確定所述待提取網頁為素材網頁，提取所述待提取網頁中的圖片和文本。

5.根據權利要求4所述的裝置，其特征在于，所述html特征還包括以下至少一者：

類別為表單標簽的html正文標簽占所述待提取網頁的html正文標簽的比例；

所述待提取網頁的各所述html正文標簽的文本密度，所述文本密度為該html正文標簽所包含的文本長度與所述待提取網頁的各所述html正文標簽所包含的文本長度之和的比例；以及

所述待提取網頁的各所述html正文標簽的文本密度的統計特征。

6.根據權利要求4-5任意一項所述的裝置，其特征在于，所述解析模塊在解析待提取網頁以確定所述待提取網頁包含的第一html標簽之前，還配置用于：

響應于接收到網頁的統一資源定位符URL，解析與所述網頁隸屬于同一網站的各網頁作為待提取網頁。