[發(fā)明專利]一種互聯網訪問日志解析方法及裝置

有效

• 申請?zhí)枺?/td>: 201811456132.X
• 申請日: 2018-11-30
• 公開（公告）號: CN111258969B
• 公開（公告）日: 2023-08-15
• 發(fā)明（設計）人: 全東方;儲晶星;張昭;傅一平
• 申請（專利權）人: 中國移動通信集團浙江有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/23;G06F16/28;G06F16/2458
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

本發(fā)明實施例提供一種互聯網訪問日志解析方法及裝置。所述方法包括采集訪問日志，每條訪問日志包括用戶信息和Uri；Uri包括域名、規(guī)則和資源編碼；根據域名和資源編碼從與域名和規(guī)則對應的知識庫中找到與Uri對應的頁面信息；知識庫至少包括一個頁面信息和與每個頁面信息一一對應的一組域名和資源編碼，每個知識庫與至少一組域名和規(guī)則相對應；將頁面信息與用戶信息合并為訪問記錄后存入數據倉庫，本發(fā)明實施例通過訪問日志的Uri得到所述域、規(guī)則和資源編碼，從而根據域名和資源編碼從與域名和規(guī)則對應的知識庫中找到與Uri對應的頁面內容，然后將頁面內容和用戶信息結合后存入到所述數據倉庫中，從而提高了對于訪問日志的解析的效率。

技術領域

本發(fā)明實施例涉及互聯網技術領域，尤其涉及一種互聯網訪問日志解析方法及裝置。

背景技術

隨著大數據在業(yè)界的廣泛引入，基礎數據的采集越來越重要。互聯網訪問日志作為0域數據中重要的組成部分，對其進行解析，分類是很有必要的。由于訪問日志量大，很難對管道中的數據進行全量處理，且大量移動端應用的后臺通信都采用了Http協(xié)議進行通信。因此，目前的互聯網日志解析的重點放在對Http日志解析上面。

在對Http協(xié)議日志的解析過程中，現有技術通常針對域名、流量等數據進行解析，其流程如下：1)為不同統(tǒng)一資源標識符(Uniform?Resource?Identifier，Uri)與其所對應的網站、應用建立一一對應的規(guī)則庫，并定期對該規(guī)則庫進行更新。2)從數據源逐條讀取日志，與規(guī)則庫中的記錄進行比對，從而確認訪問目標地址，并得到用戶訪問資源的編碼。3)通過爬蟲爬取指定網站中對應資源的具體編碼以及相關信息，如根據圖書編碼爬取圖書的作者圖書名等基本信息。4)將用戶的訪問記錄與爬蟲爬取的資源信息，輸出到數據倉庫中；對于不包含具體資源信息的訪問記錄，統(tǒng)一輸出到訪問記錄數據倉庫。

現有技術的解析方式會頻繁的通過爬蟲爬取資源信息，而且無法及時對網絡熱點進行及時更新，滯后的規(guī)則更新會使分析結果與事實產生偏差，從而導致資源浪費，且效率較低。

發(fā)明內容

本發(fā)明實施例提供一種互聯網訪問日志解析方法及裝置，用以解決現有技術的解析方式會頻繁的通過爬蟲爬取資源信息，而且無法及時對網絡熱點進行及時更新，滯后的規(guī)則更新會使分析結果與事實產生偏差，從而導致資源浪費，且效率較低。

第一方面，本發(fā)明實施例提供了一種互聯網訪問日志解析方法，包括：

采集訪問日志，每條訪問日志至少包括用戶信息和Uri；其中，所述Uri至少包括域名、規(guī)則和資源編碼；

根據所述域名和資源編碼從與所述域名和規(guī)則對應的知識庫中找到與所述Uri對應的頁面信息；其中，所述知識庫至少包括一個頁面信息和與每個頁面信息一一對應的一組域名和資源編碼，每個知識庫與至少一組域名和規(guī)則相對應；

將所述頁面信息與所述用戶信息合并為訪問記錄后存入數據倉庫。

第二方面，本發(fā)明實施例提供了一種用于互聯網訪問日志解析的裝置，包括：

采集模塊，用于采集訪問日志，每條訪問日志至少包括用戶信息和Uri；其中，所述Uri至少包括域名、規(guī)則和資源編碼；

知識庫模塊，用于根據所述域名和資源編碼從與所述域名和規(guī)則對應的知識庫中找到與所述Uri對應的頁面信息；其中，所述知識庫至少包括一個頁面信息和與每個頁面信息一一對應的一組域名和資源編碼，每個知識庫與至少一組域名和規(guī)則相對應；

數據倉庫模塊，用于將所述頁面信息與所述用戶信息合并為訪問記錄后存入數據倉庫。

第三方面，本發(fā)明實施例還提供了一種電子設備，包括：

處理器、存儲器、通信接口和通信總線；其中，

所述處理器、存儲器、通信接口通過所述通信總線完成相互間的通信；