[發明專利]一種網頁內容提取方法及裝置

有效

• 申請號: 201611126527.4
• 申請日: 2016-12-09
• 公開（公告）號: CN107741942B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 趙銘鑫
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

本發明實施例公開了一種網頁內容提取方法及裝置，其中，網頁內容提取方法包括：確定待提取網頁中目標內容所在的候選區域；根據所述目標內容的預設視覺特征，計算每個所述候選區域的視覺特征得分；從視覺特征得分最高的候選區域提取所述目標內容。本發明實施例能夠節省人力資源，提高提取效率。

技術領域

本發明實施例涉及計算機技術領域，具體涉及一種網頁內容提取方法及裝置。

背景技術

隨著互聯網規模的不斷擴大，網絡信息也呈現出指數級的遞增，用戶通過網絡獲取自己感興趣的信息變得越來越困難。網頁內容抽取的出現，正是順應了網絡的發展以及人們對信息需求要求的不斷提高。通過網頁內容的抽取，我們能夠將感興趣的內容存入數據庫中，從而能夠提供更強大的查詢服務；通過網頁內容的抽取，我們能夠將有用的內容進行分析處理，從而再次發布；通過網頁內容的抽取，我們能夠將多個網站的信息集成，從而進行比較分析。

現有的網頁內容抽取方法，一般需要人工標注每個網頁的可擴展標記語言路徑語言(Extensible Markup Language Path Language，XPath)數據，然后將每個網頁的XPath數據存儲在后臺，當一個網頁下載結束之后，根據網頁的統一資源定位符(UniformResource Locator，URL)去匹配后臺存儲的XPath數據，利用匹配到的XPath數據從對應網頁抽取內容。對于網絡的海量數據，這種抽取方法需要花費大量的人工成本去標注每個網頁的XPath，提取效率較低。

發明內容

有鑒于此，本發明實施例提供了一種網頁內容提取方法及裝置，能夠節省人力資源，提高提取效率。

本發明實施例提供的網頁內容提取方法，包括：

確定待提取網頁中目標內容所在的候選區域；

根據所述目標內容的預設視覺特征，計算每個所述候選區域的視覺特征得分；

從視覺特征得分最高的候選區域提取所述目標內容。

本發明實施例提供的網頁內容提取裝置，包括：

確定單元，用于確定待提取網頁中目標內容所在的候選區域；

計算單元，用于根據所述目標內容的預設視覺特征，計算每個所述候選區域的視覺特征得分；

提取單元，用于從視覺特征得分最高的候選區域提取所述目標內容

本發明實施例中，先確定待提取網頁中目標內容所在的候選區域，然后根據所述目標內容的預設視覺特征，計算每個所述候選區域的視覺特征得分，最后從視覺特征得分最高的候選區域提取所述目標內容，即本發明實施例的提取過程，依賴網頁設計者根據人眼獲取網頁信息的經驗，針對目標內容所作出的吸引用戶的、突出的設計(即目標內容的預設視覺特征)，確定目標內容所在的區域，進而直接從該區域提取目標內容，因而不再需要人工標注每個網頁的 XPath數據，節省了人力資源，提高了提取效率。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本發明實施例所提供的網頁內容提取方法的一個場景示意圖；

圖2是本發明實施例所提供的網頁內容提取方法的一個流程示意圖；

圖3是本發明實施例所提供的網頁內容提取方法的另一流程示意圖；

圖4是本發明實施例所提供的網頁內容提取裝置的一個結構示意圖；

圖5是本發明實施例所提供的網頁內容提取裝置的另一結構示意圖。