[發明專利]一種網站主題提取方法、系統及電子設備和存儲介質

在審

• 申請號: 201910074345.4
• 申請日: 2019-01-25
• 公開（公告）號: CN111488511A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 楊榮海
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F40/289
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本申請公開了一種網站主題提取方法、系統及一種電子設備和計算機可讀存儲介質，該方法包括：將目標網頁按照目標分割方式分割為多個頁面塊，并提取所有頁面塊中的內容作為目標網站的空間特征；確定目標網站的檢索關鍵詞，根據檢索關鍵詞在目標搜索引擎中搜索得到搜索結果，并提取搜索結果中的內容作為目標網站的檢索特征；對目標網站的所有特征進行主題提取，并根據提取得到的所有主題確定目標網站的最終主題；其中，所有特征包括空間特征和檢索特征，提高了網站主題提取的準確性。

技術領域

本申請涉及計算機技術領域，更具體地說，涉及一種網站主題提取方法、系統及一種電子設備和一種計算機可讀存儲介質。

背景技術

網站主題提取是許多網絡應用(如網頁推薦、網頁分類等)的基礎任務。現有技術中的網站主題提取方法采用DOM(中文全稱：文檔對象模型，英文全稱：Document ObjectModel)解析、網頁標簽等技術對網頁進行分割，從分割的網頁塊中提取網頁主題，并對這些主題做整合。

但是，由于一個網站包含許多網頁，孤立的對每個網頁做主題提取的方法忽略了同一網站下網頁之間有著強聯系的事實，在某些場景下，使用網頁主題做為網站主題并不準確。

因此，如何提高網站主題提取的準確性是本領域技術人員需要解決的技術問題。

發明內容

本申請的目的在于提供一種網站主題提取方法、系統及一種電子設備和一種計算機可讀存儲介質，提高了網站主題提取的準確性。

為實現上述目的，本申請提供了一種網站主題提取方法，包括：

將所述目標網頁按照目標分割方式分割為多個頁面塊，并提取所有所述頁面塊中的內容作為所述目標網站的空間特征；

確定所述目標網站的檢索關鍵詞，根據所述檢索關鍵詞在目標搜索引擎中搜索得到搜索結果，并提取所述搜索結果中的內容作為所述目標網站的檢索特征；

對所述目標網站的所有特征進行主題提取，并根據提取得到的所有主題確定所述目標網站的最終主題；其中，所述所有特征包括所述空間特征和所述檢索特征。

其中，還包括：

提取目標網站中目標網頁的內容作為所述目標網站的內容特征；其中，所述目標網頁的內容包括所述目標網頁的標題、文本信息和鏈接信息中任一項或任幾項的組合；

和/或，確定所述目標網頁的頂級域名，并在頂級域名信息表中確定所述頂級域名對應的頂級域名特征；

相應的，所述所有特征還包括所述內容特征和/或所述頂級域名特征。

其中，將所述目標網頁按照目標分割方式分割為多個頁面塊，并提取所有所述頁面塊中的內容作為所述目標網站的空間特征，包括：

對所述目標網頁建立DOM樹，并提取所述DOM樹中的所有葉子節點中的內容作為所述目標網站的空間特征；

和/或，將所述目標網頁按照網頁標簽進行分割，并提取所有所述網頁標簽中的內容作為所述目標網站的空間特征。

其中，根據所述檢索關鍵詞在目標搜索引擎中搜索得到搜索結果，包括：

在所述目標搜索引擎中搜索所述檢索關鍵詞得到備選結果；

將前M個所述備選結果作為所述搜索結果，其中，M為正整數。

其中，若所述檢索關鍵詞為所述目標網頁的網站域名，則根據所述檢索關鍵詞在目標搜索引擎中搜索得到搜索結果，包括：

在所述目標搜索引擎中搜索所述網站域名得到備選結果；

計算所述目標網頁的網站域名與所述備選結果的網站域名的字符串相似度；