[發明專利]一種網頁主體信息提取方法、裝置及存儲介質

有效

• 申請號: 202011531289.1
• 申請日: 2020-12-22
• 公開（公告）號: CN112528205B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 李璽;馮凱;王元卓
• 申請（專利權）人: 中科院計算技術研究所大數據研究院
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/951;G06F16/9535
• 代理公司: 北京沁優知識產權代理有限公司 11684
• 代理人: 另婧

本發明提供了一種網頁主體信息提取方法、裝置及存儲介質，所述網頁主體信息提取方法包括步驟：網頁源碼獲取，接收網頁地址信息，根據網頁地址信息在互聯網中獲取該網頁的網頁源碼，所述網頁源碼中包括至少一個節點，所述節點中包括至少一個標簽；主體信息提取，遍歷所述網頁源碼中的各個節點，根據所述節點中的標簽判斷該節點的信息是否為主體信息，若是，提取該節點中的信息為主體信息。首先通過網頁地址信息在互聯網中找到該網頁，通過對網頁源碼的處理，識別出網頁中的主體部分，當用戶瀏覽該網頁時，可以直接瀏覽該主體部分的信息，一方面減少非主體部分的無用信息占用網絡資源，提高互聯網資源利用率；另一方面提高用戶獲取信息的效率。

技術領域

本發明涉及計算機數據挖掘技術領域，尤其涉及一種網頁主體信息提取方法、裝置及存儲介質。

背景技術

在本世紀初期，人們對外界信息的獲取主要通過報紙、電臺、廣播和電視臺等媒體途徑進行獲取，隨著科學技術進步，現代人獲取信息的方式變得多種多樣，可以通過手機或者電腦等電子設備從互聯網中瀏覽網頁獲取信息。

然而，現在的網頁當中除了主體信息外還會有很多無用的數據，如新聞網頁中除了主體數據新聞外，還會有一些廣告出現，這些無用的數據不但占用了較大的互聯網資源，而且影響著用戶獲取信息的效率。因此，如何提取網頁中的主體信息，提高互聯網資源利用率，提高用戶獲取信息的效率是現有技術急需克服的問題。

因此，本領域亟需一種網頁主體信息提取方法、裝置及存儲介質。

因此，有鑒于此，提出本發明。

發明內容

本發明的目的在于提供一種網頁主體信息提取方法，提取網頁中的主體信息，提高互聯網資源利用率，提高用戶獲取信息的效率。

本發明的第一方面提供了一種網頁主體信息提取方法，包括以下步驟：

網頁源碼獲取，接收網頁地址信息，根據網頁地址信息在互聯網中獲取該網頁的網頁源碼，所述網頁源碼中包括至少一個節點，所述節點中包括至少一個標簽；

主體信息提取，遍歷所述網頁源碼中的各個節點，根據所述節點中的標簽判斷該節點的信息是否為主體信息，若是，提取該節點中的信息為主體信息。

采用上述方案，首先通過網頁地址信息在互聯網中找到該網頁，提取網頁源碼，通過對網頁源碼的處理，識別出網頁中的主體部分，當用戶瀏覽該網頁時，可以直接瀏覽該主體部分的信息，一方面減少了其他非主體部分的無用信息占用網絡資源，提高互聯網資源利用率；另一方面提高用戶獲取信息的效率。

進一步地，所述網頁主體信息提取方法還包括用戶推送，收集所述網頁源碼中各節點中主體信息的文字，向用戶推送。

采用上述方案，先將提取出網頁中的主體信息，將網頁中的主體信息直接向用戶進行推送，提高用戶信息獲取效率。

進一步地，所述網頁為待提取主體信息的網頁，所述網頁地址信息為該網頁在互聯網中的地址。

優選地，所述網頁源碼獲取的步驟包括：

接收網頁地址信息；

接收源碼采集程序；

使用所述源碼采集程序采集所述網頁的網頁源碼。

采用上述方案，使用源碼采集程序對網頁源碼進行采集，提高采集效率。

進一步地，所述網頁源碼獲取還可以通過先進行解析再手動操作的方式獲取。

進一步地，所述源碼采集程序可以使用python語言來進行網頁源碼采集。

優選地，所述源碼采集程序使用python中的requests方法請求網頁源碼。