[發明專利]內容提取方法和設備以及存儲介質

有效

• 申請號: 201811249799.2
• 申請日: 2018-10-25
• 公開（公告）號: CN111104624B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 陳炎;夏迎炬;孟遙
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/95
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 康建峰;杜誠

本申請公開了一種內容提取方法和設備以及計算機可讀存儲介質。該內容提取方法包括：基于HTML標簽生成HTML頁面的樹；檢測所述樹中的每個節點所包含的特定內容特征的數目和文本長度特征的數目；濾除所述樹中的特定內容特征的數目小于第一閾值或文本長度特征的數目小于第二閾值的節點；和確定所述樹的剩余節點之中的、在相應分支上位于最底層的一個或更多個目標節點。

技術領域

本公開內容涉及信息檢索和抽取領域，并且具體涉及網頁內容的提取。

背景技術

目前，已有的網頁信息抽取工具主要是從HTML表格和HTML列表中提取數據。特別地，這些工具可以提取存在于HTML表格或列表中的歷史事件數據。然而，歷史事件數據也有可能出現在其他HTML標簽中。在這種情況下，現有的網頁信息抽取工具會造成歷史事件數據丟失。

發明內容

在下文中給出了關于本公開內容的簡要概述，以便提供關于本公開內容的某些方面的基本理解。應當理解，這個概述并不是關于本公開內容的窮舉性概述。它并不是意圖確定本公開內容的關鍵或重要部分，也不是意圖限定本公開內容的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。

根據本發明的一個方面，提供了一種內容提取方法，包括以下步驟：基于HTML標簽生成HTML頁面的樹；檢測所述樹中的每個節點所包含的特定內容特征的數目和文本長度特征的數目；濾除所述樹中的特定內容特征的數目小于第一閾值或文本長度特征的數目小于第二閾值的節點；和確定所述樹的剩余節點之中的、在相應分支上位于最底層的一個或更多個目標節點。

根據本發明的另一個方面，提供了一種內容提取設備，包括：生成單元，其被配置成基于HTML標簽生成HTML頁面的樹；檢測單元，其被配置成檢測所述樹中的每個節點所包含的特定內容特征的數目和文本長度特征的數目；濾除單元，其被配置成濾除所述樹中的特定內容特征的數目小于第一閾值或文本長度特征的數目小于第二閾值的節點；和確定單元，其被配置成確定所述樹的剩余節點之中的、在相應分支上位于最底層的一個或更多個目標節點。

根據本發明的又另一方面，還提供了相應的計算機程序代碼、計算機可讀存儲介質和計算機程序產品。

通過本發明的內容提取方法和設備，使得能夠從不同類型的網頁中自動獲取歷史事件，并且能夠確保較高的分類準確性、良好的泛化能力和更佳的容忍度。

通過以下結合附圖對本發明的優選實施方式的詳細說明，本發明的這些以及其他優點將更加明顯。

附圖說明

為了進一步闡述本公開內容的以上和其它優點和特征，下面結合附圖對本公開內容的具體實施方式作進一步詳細的說明。所述附圖連同下面的詳細說明一起包含在本說明書中并且形成本說明書的一部分。具有相同的功能和結構的元件用相同的參考標號表示。應當理解，這些附圖僅描述本公開內容的典型示例，而不應看作是對本公開內容的范圍的限定。在附圖中：

圖1是根據本發明的一個實施方式的內容提取方法的流程圖；

圖2A示意性地示出了所生成的HTML頁面的樹；

圖2B示意性地示出了濾除一部分節點后的樹；

圖3是根據本發明的另一實施方式的內容提取方法的流程圖；

圖4A是根據本發明的實施方式的內容提取設備的框圖；

圖4B是根據本發明的另一實施方式的內容提取設備的框圖；和

圖5是其中可以實現根據本發明的實施方式的方法和/或設備的通用個人計算機的示例性結構的框圖。

具體實施方式