[發明專利]一種網頁信息處理方法及系統

有效

• 申請號: 201911060028.3
• 申請日: 2019-11-01
• 公開（公告）號: CN110765336B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 潘季明
• 申請（專利權）人: 北京天融信網絡安全技術有限公司;北京天融信科技有限公司;北京天融信軟件有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9535
• 代理公司: 北京金信知識產權代理有限公司 11225
• 代理人: 韓岳松

1.一種網頁信息處理方法，其特征在于，包括：

獲取第一網址和所述第一網址所指向的第一網頁；

基于所述第一網址的數據結構計算其網址性質參數，并基于所述第一網址的網址性質參數確定所述第一網頁的權重值，其中，所述第一網址的網址性質參數用于表征所述第一網址的惡意程度；

從所述第一網頁獲取鏈接集合和網頁內容數據，其中，所述鏈接集合包括多個設置在所述第一網頁上的鏈接數據；

基于所述鏈接數據和所述網頁內容數據計算第二網頁的第一參數，其中，所述第二網頁為所述鏈接數據所指向的網頁，所述第一參數用于表征所述第二網頁在所述第一網頁中的重要程度；

基于所述第二網頁的第一參數和所述第一網頁的權重值計算所述第二網頁的權重值，以使網絡爬蟲基于所述第二網頁的權重值爬取所述第二網頁；

所述基于所述鏈接數據和所述網頁內容數據計算第二網頁的第一參數，包括：

基于所述網頁內容數據計算用于表征所述第二網頁的內容之間相關度的第二內容參數；

基于所述鏈接數據計算用于表征所述鏈接數據的重要程度的鏈接參數；

基于所述第二內容參數和所述鏈接參數計算所述第一參數。

2.根據權利要求1所述的網頁信息處理方法，其特征在于，所述基于所述網頁內容數據計算用于表征所述第二網頁的內容之間相關度的第二內容參數，包括：

基于所述網頁內容數據計算用于表征所述第一網頁的內容之間相關度的第一內容參數；

基于所述第一內容參數計算所述第二內容參數。

3.根據權利要求2所述的網頁信息處理方法，其特征在于，所述網頁內容數據包括所述第一網頁的正文內容、標題、關鍵詞和內容描述；

所述基于所述網頁內容數據計算用于表征所述第一網頁的內容之間相關度的第一內容參數，包括：

基于所述標題和所述正文內容計算用于表征二者相關度的標題參數；

基于所述關鍵詞和所述正文內容計算用于表征二者相關度的關鍵詞參數；

基于所述內容描述和所述正文內容計算用于表征二者相關度的內容描述參數；

基于所述標題參數、所述關鍵詞參數和所述內容描述參數計算所述第一內容參數。

4.根據權利要求1所述的網頁信息處理方法，其特征在于，所述網頁內容數據包括所述第一網頁的正文內容；所述鏈接數據包括錨文本、位置信息、類型信息和第二網址；所述基于所述鏈接數據計算用于表征所述鏈接數據與所述第一網頁的相關度的鏈接參數，包括：

基于所述錨文本和所述正文內容計算用于表征其二者相關度的錨文本參數；

基于所述位置信息確定用于表征所述鏈接數據在所述第一網頁中所處位置的重要程度的位置參數；

基于所述類型信息確定用于表征所述鏈接數據所屬類型的重要程度的實質性參數；

基于所述第二網址的數據結構計算用于表征所述第二網址的惡意程度的網址性質參數；

基于所述錨文本參數、所述位置參數、所述實質性參數和所述網址性質參數確定所述鏈接參數。

5.根據權利要求1所述的網頁信息處理方法，其特征在于，所述基于所述第二網頁的第一參數和所述第一網頁的權重值計算所述第二網頁的權重值，包括：

其中，cash_gain(j,i)表示第二網頁的權重值，O_i表示鏈接集合，composite(j)表示第二網頁的第一參數，cash[i]表示第一網頁的權重值，表示鏈接集合中全部鏈接數據所指向的全部第二網頁的第一參數之和。

6.根據權利要求1所述的網頁信息處理方法，其特征在于，所述網絡爬蟲基于所述第二網頁的權重值爬取所述第二網頁，包括：

基于所述第二網頁的權重值，獲取所述鏈接集合中全部所述鏈接數據所指向的全部所述第二網頁的權重值排序；

所述網絡爬蟲基于所述權重值排序依次爬取所述第二網頁。