[發明專利]網頁信息提取方法及相關設備

在審

• 申請號: 202010569085.0
• 申請日: 2020-06-19
• 公開（公告）號: CN111737623A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 劉鎮熙
• 申請（專利權）人: 深圳市小滿科技有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F40/126;G06F40/289
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 常云敏

本發明提供一種網頁信息提取方法、裝置、計算機設備及計算機可讀存儲介質。所述網頁信息提取方法獲取目標網頁；將所述目標網頁轉換為目標樹；從所述目標樹獲取文本內容；對所述文本內容進行分詞，得到多個字符串；確定每個字符串的表示信息、位置信息和樹結構信息，將表示信息、位置信息和樹結構信息記為特征信息；組合所述多個字符串的特征信息，得到所述目標網頁的特征表示。本發明提升了網頁信息提取的準確性。

技術領域

本發明涉及數據處理技術領域，具體涉及一種網頁信息提取方法、裝置、計算機設備及計算機可讀存儲介質。

背景技術

通常，對網頁內容進行分析前，需要對網頁進行信息提取。目前對網頁進行信息提取時，僅提取網頁的文本信息，未提取網頁中的文本的結構信息。網頁中的文本的結構信息很可能對分析網頁內容有重要的作用。提取不準確的網頁特征，將影響對網頁內容的分析。

如何提升網頁信息提取的準確性成為待解決的問題。

發明內容

鑒于以上內容，有必要提出一種網頁信息提取方法、裝置、計算機設備及計算機可讀存儲介質，其可以根據用戶在各個網站的注冊信息抽取出用戶的標簽，用抽取的用戶的標簽描述網頁信息提取。

本申請的第一方面提供一種網頁信息提取方法，所述網頁信息提取方法包括：

獲取目標網頁；

將所述目標網頁轉換為目標樹；

從所述目標樹獲取文本內容；

對所述文本內容進行分詞，得到多個字符串；

確定每個字符串的特征信息，所述特征信息包括表示信息、位置信息和樹結構信息；

組合所述多個字符串的特征信息，得到所述目標網頁的特征表示。

另一種可能的實現方式中，所述獲取目標網頁包括：

獲取所述目標網頁的網頁地址；

利用網頁爬取工具下載所述網頁地址對應的HTML文本。

另一種可能的實現方式中，所述將所述目標網頁轉換為目標樹包括：

利用網頁解析工具通過深度優先遍歷方法將所述目標網頁轉換為所述目標樹。

另一種可能的實現方式中，在所述將所述目標網頁轉換為目標樹之前，所述網頁信息提取方法還包括：

對所述目標網頁進行規范化處理。

另一種可能的實現方式中，在所述從所述目標樹獲取文本內容之前，所述網頁信息提取方法還包括：

對所述目標樹進行剪枝預處理。

另一種可能的實現方式中，所述文本內容包括中文文本，所述對所述文本內容進行分詞包括：

結合自然語言處理算法對所述中文文本進行分詞；或

訓練基于BERT的分詞模型，通過訓練后的分詞模型對所述中文文本進行分詞。

另一種可能的實現方式中，所述確定每個字符串的特征信息包括：

從預設編碼表查詢每個字符串的編碼信息，將每個字符串的編碼信息確定為所述字符串的表示信息；

根據所述多個字符串在所述文本內容中的位置依次對所述多個字符串進行編號，將各個字符串的編號確定為各個字符串的位置信息；

獲取各個字符串在所述目標樹中所屬的節點，和各個節點到所述目標樹的根節點的路徑，將各個字符串所屬的節點和路徑確定為各個字符串的樹結構信息。

本申請的第二方面提供一種網頁信息提取裝置，所述網頁信息提取裝置包括：