[發明專利]網絡訪問記錄的處理方法、裝置和計算機可讀存儲介質

有效

• 申請號: 201710608700.2
• 申請日: 2017-07-25
• 公開（公告）號: CN109302297B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 郝穎;陳康;田熙清;向勇;陳翀
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: H04L67/02
• 分類號: H04L67/02;H04L41/0604;H04L41/069;H04L43/16;G06F16/955
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 劉劍波

本發明公開了一種網絡訪問記錄的處理方法和裝置，涉及大數據處理技術領域。該方法包括：選取一條網絡訪問記錄作為目標記錄，根據目標記錄的來源頁面字段以及其它網絡訪問記錄的目的URL字段確定對比記錄；在目標記錄和對比記錄的處理時間差小于第一閾值的情況下，清洗掉目標記錄。該方法和裝置能夠實現具有普遍適用性的自動記錄清洗功能。

技術領域

本發明涉及大數據處理技術領域，特別涉及一種網絡訪問記錄的處理方法、裝置和計算機可讀存儲介質。

背景技術

隨著大數據處理技術的快速發展和普及應用，運營商可以采用諸如DPI(DeepPacket Inspection，深度報文檢測)等技術手段采集用戶的網絡訪問記錄，并基于網絡訪問記錄進行大數據分析，從而更好地了解客戶需求，開展相應服務。

但是，由于互聯網廣告的需求以及AJAX(Asynchronous Javascript And XML，異步JavaScript和XML)、CSS(Cascading Style Sheets，層疊樣式表)等技術的廣泛使用，用戶的一次網頁訪問行為可能會觸發瀏覽器后臺的多次http(Hyper Text TransferProtocol，超文本傳輸協議))請求。從而導致網絡訪問記錄的數據量龐大，存儲和處理均需要耗費大量資源，因此需要對網絡訪問記錄進行清洗。

為解決上述技術問題，目前主要采用基于資源文件后綴的清洗技術和基于規則過濾的清洗技術。

發明內容

本發明的發明人發現上述現有技術中存在如下問題：并不是所有的網絡訪問記錄都具有后綴，因此以后綴作為清洗依據不具有普遍適用性；基于規則過濾需要人工進行整理并定期更新過濾規則，不能實現記錄的自動化清洗。針對上述問題中的至少一個問題，本發明人提出了解決方案。

本發明的一個目的是提供一種網絡訪問記錄的技術方案，能夠實現記錄的自動化清洗。

根據本發明的一個實施例，提供了一種網絡訪問記錄的處理方法，包括：

選取一條網絡訪問記錄作為目標記錄，根據所述目標記錄的來源頁面字段以及其它網絡訪問記錄的目的統一資源定位符URL字段確定對比記錄；在所述目標記錄和對比記錄的處理時間差小于第一閾值的情況下，清洗掉所述目標記錄。

可選地，響應于所述其它網絡訪問記錄的目的URL字段與所述目標記錄的來源頁面字段指向同一頁面，將所述其它網絡訪問記錄確定為所述對比記錄。

可選地，根據源IP和用戶代理User Agent將網絡訪問記錄劃分為多個記錄集合，從記錄集合中選取一條網絡訪問記錄作為所述記錄集合的所述目標記錄。

可選地，在所述目標記錄所在的記錄集合中確定所述對比記錄，所述對比記錄的處理時間早于所述目標記錄的處理時間。

可選地，如果存在多條滿足上述條件的網絡訪問記錄，則選取處理時間距離目標記錄處理時間最近的網絡訪問記錄確定為對比記錄。

可選地，響應于所述目標記錄不具有所述來源頁面字段，將與所述目標記錄具有相同域名的網絡訪問記錄確定為對比記錄。

可選地，刪除所述處理時間與當前時刻的時間差大于第二閾值的網絡訪問記錄。

根據本發明的另一個實施例，提供一種網絡訪問記錄的處理裝置，包括：對比記錄確定模塊，用于選取一條網絡訪問記錄作為目標記錄，根據所述目標記錄的來源頁面字段以及其它網絡訪問記錄的目的統一資源定位符URL字段確定對比記錄；記錄清洗模塊，用于在所述目標記錄和對比記錄的處理時間差小于第一閾值的情況下，清洗掉所述目標記錄。

可選地，所述對比記錄確定模塊響應于所述其它網絡訪問記錄的目的URL字段與所述目標記錄的來源頁面字段指向同一頁面，將所述其它網絡訪問記錄確定為所述對比記錄。