[發明專利]一種網頁信息提取方法及裝置

在審

• 申請號: 202110725319.0
• 申請日: 2021-06-29
• 公開（公告）號: CN113434797A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 李成鋼;楊本棟;李忠;李金嶺;杜忠田;王彥君;夏海輪;張碧昭;余清華;卜理超;張天正;李鳳文;袁福碧
• 申請（專利權）人: 中國電信集團系統集成有限責任公司
• 主分類號: G06F16/957
• 分類號: G06F16/957
• 代理公司: 北京知匯林知識產權代理事務所(普通合伙) 11794
• 代理人: 董濤

本發明公開了一種網頁信息提取方法及裝置，屬于信息識別領域。該方法包括：獲取待識別網頁數據；根據視覺信息算法對所述待識別網頁數據進行分塊，得到網頁視覺塊；將所述網頁視覺塊進行標注，得到待提取元數據；對所述待提取元數據進行提取操作，得到目標數據。本發明提出了不依賴于網頁設計風格，充分利用網頁上下文信息提取網頁結構化數據的文章型網頁信息抽取方法，解決了現有技術算法效率低和網頁設計風格變化導致的節點合并效果差的技術問題，以及上下文信息利用少和信息提取精度不足的技術問題。

技術領域

本發明屬于信息識別領域，具體而言，涉及一種網頁信息提取方法及裝置。

背景技術

隨著智能化科技的不斷發展，人們的生活、工作、學習之中越來越多地用到了智能化設備，使用智能化科技手段，提高了人們生活的質量，增加了人們學習和工作的效率。

同時，隨著互聯網規模的不斷擴大，互聯網中的信息數量以指數級速度增長，人們依賴通過電腦或手機等電子設備從互聯網的網頁中獲取信息。然而，網頁中都包含大量用于網站推廣或商業宣傳的與主題無關的內容，海量的數據使我們面臨著信息過載和信息冗余的問題，如何從互聯網蘊含的海量信息中高效的獲取有價值的信息是當前的研究熱點之一，互聯網中包含著大量的文章型網頁，如何快速高效的提取其中的文章信息是現有技術急需克服的問題。目前，現有技術中結合目前流行的網頁設計風格對VIPS算法進行了改進，但仍存在著算法效率低和網頁設計風格變化導致的節點合并效果差的問題，同時也有現有技術提出一種結合機器學習和分組技術的網頁信息自動提取算法，利用DOM樹節點屬性生成多個特征以訓練機器學習模型，然后根據模型選擇候選節點，開發了分組技術過濾掉候選節點中的噪音并挑選出候選節點缺失數據,但存在著上下文信息利用少，提取精度不足的問題，因此，實用、高效的網頁信息抽取算法具有非常大的意義。信息抽取能夠自動地從非結構化文檔中識別和提取結構化信息，能夠從海量數據中快速準確的分析出真正有用的信息，可以提高信息采集的效率。在網頁信息抽取領域，研究人員對不同類型的網頁提出了各式各樣的網頁信息抽取算法。隨著網頁設計規范和網頁設計風格的變化，有的算法已經不再適用，同時現有算法的提取準確率也不高。

發明內容

本發明提供了一種網頁信息提取方法及裝置，提出了不依賴于網頁設計風格，充分利用網頁上下文信息提取網頁結構化數據的文章型網頁信息抽取方法，解決了現有技術算法效率低和網頁設計風格變化導致的節點合并效果差的技術問題，以及上下文信息利用少和信息提取精度不足的技術問題。

本發明的一個方面，提供了一種網頁信息提取方法，包括：獲取待識別網頁數據；根據視覺信息算法對所述待識別網頁數據進行分塊，得到網頁視覺塊；將所述網頁視覺塊進行標注，得到待提取元數據；對所述待提取元數據進行提取操作，得到目標數據。

進一步地，在所述獲取待識別網頁數據之后，所述方法還包括：對所述待識別網頁數據進行預處理。

進一步地，在所述將所述網頁視覺塊進行標注，得到待提取元數據之前，所述方法還包括：根據所述網頁視覺塊，選取網頁主體區域。

進一步地，所述對所述待提取元數據進行提取操作，得到目標數據包括：獲取隨機場模型；根據所述隨機場模型對所述待提取元數據進行提取，得到提取結果；將所述提取結果進行輸出，并生成所述目標數據。

本發明的另一方面，還提供了一種網頁信息提取裝置，包括：獲取模塊，用于獲取待識別網頁數據；分塊模塊，用于根據視覺信息算法對所述待識別網頁數據進行分塊，得到網頁視覺塊；標注模塊，用于將所述網頁視覺塊進行標注，得到待提取元數據；提取模塊，用于對所述待提取元數據進行提取操作，得到目標數據。

進一步地，所述裝置還包括：預處理模塊，用于對所述待識別網頁數據進行預處理。

進一步地，所述裝置還包括：選取模塊，用于根據所述網頁視覺塊，選取網頁主體區域。