[發明專利]一種網絡地址的處理方法、計算設備及可讀存儲介質

有效

• 申請號: 201710522789.0
• 申請日: 2017-06-30
• 公開（公告）號: CN107317892B
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 蔡自彬
• 申請（專利權）人: 北京知道創宇信息技術股份有限公司
• 主分類號: H04L29/12
• 分類號: H04L29/12;H04L12/24
• 代理公司: 北京思睿峰知識產權代理有限公司 11396
• 代理人: 謝建云;趙愛軍

本發明公開了一種網絡地址的處理方法，包括步驟：獲取網絡日志所包含的多個網絡地址；分別獲取每個網絡地址所包含的網絡路徑，以得到多個網絡路徑；分別獲取每個網絡路徑的目錄結構；按照目錄結構所包含的子目錄的個數，將多個網絡路徑劃分為至少一個集合；對于所劃分的每個集合，根據該集合中的網絡路徑的目錄結構生成一個樹結構；自上而下地對該樹結構中每一個非葉節點下的子節點進行合并；根據合并后的樹結構獲取至少一個新的網絡路徑；以及根據所獲取的新的網絡路徑得到新的網絡地址。本發明還公開了一種計算設備和計算機可讀存儲介質。

技術領域

本發明涉及日志分析技術領域，尤其涉及一種網絡地址的處理方法、計算設備及可讀存儲介質。

背景技術

隨著網絡通信技術的迅速發展、所承載信息的日益豐富，互聯網已成為人類社會重要的基礎設施，越來越多的企業或者個人通過網絡服務器以及服務器中駐留的應用向用戶提供網絡內容和服務。對運營這些網絡服務器的企業或者個人來說，需要對網絡服務器產生的日志進行分析，從而了解網絡服務器的運行和訪問情況。

其中，某些場景下，對網絡服務器的海量日志進行分析時，需要從中提取出該網絡服務器的網絡地址，對這些網絡地址指向的網絡內容進行分析。但由于提取出的網絡地址數量龐大，為了降低數量級，減少工作量，通常只能從中采樣進行分析。

然而，這些網絡地址中可能包含大量的低價值地址和少量的高價值地址，采樣的方法極有可能遺漏其中的高價值地址，影響最后的分析結果。

因此，迫切需要一種在減少網絡地址數量的同時保證其分析質量的網絡地址處理方案。

發明內容

為此，本發明提供一種網絡地址的處理方案，以力圖解決或者至少緩解上面存在的至少一個問題。

根據本發明的一個方面，提供了一種網絡地址的處理方法，包括步驟：獲取網絡日志所包含的多個網絡地址；分別獲取每個網絡地址所包含的網絡路徑，以得到多個網絡路徑；分別獲取每個網絡路徑的目錄結構；按照目錄結構所包含的子目錄的個數，將多個網絡路徑劃分為至少一個集合；對于所劃分的每個集合，根據該集合中的網絡路徑的目錄結構生成一個樹結構；自上而下地對該樹結構中每一個非葉節點下的子節點進行合并；根據合并后的樹結構獲取至少一個新的網絡路徑；以及根據所獲取的新的網絡路徑得到新的網絡地址。

可選地，在根據本發明的方法中，網絡路徑的目錄結構包括該網絡路徑所包含的子目錄以及子目錄的層級關系。

可選地，在根據本發明的方法中，同一個集合中的網絡路徑的目錄結構包括相同數目個子目錄。

可選地，在根據本發明的方法中，樹結構以集合中網絡路徑的目錄結構中的子目錄為子節點，其層級關系對應于集合中網絡路徑的目錄結構的層級關系。

可選地，在根據本發明的方法中，對該樹結構中每一個非葉節點下的子節點進行合并的步驟包括：對該非葉節點下的子節點，將其中具有相同值的部分子節點合并為一個子節點；將其中超過預定數目的、具有不同值的部分子節點合并為一個可變子節點；其中部分子節點含有的子樹為合并后的子節點的子樹。

可選地，在根據本發明的方法中，預定數目為1000。

可選地，在根據本發明的方法中，獲取每個網絡地址所包含的網絡路徑的步驟包括：至少去除網絡地址中網絡服務器的缺省地址，以得到網絡路徑；以及根據網絡路徑得到網絡地址的步驟包括：在網絡路徑前添加網絡服務器的缺省地址，以得到網絡地址。

可選地，在根據本發明的方法中，在分別獲取每個網絡地址所包含的網絡路徑之后，還包括步驟：去除多個網絡路徑中重復的部分。