[發明專利]用于網站日志采集的方法及裝置

有效

• 申請號: 201710722629.0
• 申請日: 2017-08-22
• 公開（公告）號: CN107480277B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 焦文健;安海雄;李雙義;王海旭
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 闞梓瑄;王衛忠

本申請公開一種用于網站日志采集的方法及裝置。該方法包括：通過客戶端的瀏覽器獲取日志請求；在所述客戶端根據預定規則判斷所述日志請求是否需要進行預處理；對需要進行預處理的所述日志請求進行預處理，以生成上報消息；以及將所述上報消息由所述客戶端發送至預定服務器。本申請公開的用于網站日志采集的方法及裝置，能夠提高工作效率，節約帶寬資源，降低了服務器端的資源消耗。

技術領域

本發明涉及計算機信息處理領域，具體而言，涉及一種用于網站日志采集的方法及裝置。

背景技術

大數據的背景下，網站用戶行為數據分析成為企業標配，主流的數據采集方式是基于Javascript(JS)的BS架構，早期的網站統計只收集用戶的瀏覽行為，但隨著ajax技術的廣泛使用和用戶精細化運營需求，點擊事件、自定義事件等不同行為日志的采集需求也越來越多，但隨著數據上報頻率的增多，多條日志中包含的重復信息越來越多，且對后端服務器的壓力越來越大，對于下游進行日志解析處理和應用指標統計的復雜度也帶來了挑戰。

現有技術中，常用的日志采集方式有頁面標簽埋點技術與無埋點技術。頁面標簽埋點技術：網站引入一段JS來上報瀏覽數據，對于特定位置的點擊數據或者自定義日志數據上報，需要在對應的頁面位置加入一段代碼標簽，以便JS監聽相應位置的點擊。無埋點技術：網站引入一段JS來上報瀏覽數據，對于特定位置的點擊數據，無需額外埋點，JS通過監聽網頁文檔對象模型(Document Object Model，DOM)結構，捕獲所有可點擊元素的點擊行為，將頁面全量點擊數據上報，后續通過對頁面位置進行圈選訂閱，展示相應位置的點擊數據。

頁面標簽埋點技術的缺點是：標簽的定義和部署，工作量大，周期長。而無埋點技術也存在缺點：全量元素上報，給日志接收服務器帶來了很大的性能挑戰，日志處理和后續解析的資源消耗也很大。

因此，需要一種新的用于網站日志采集的方法及裝置。

在所述背景技術部分公開的上述信息僅用于加強對本發明的背景的理解，因此它可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

有鑒于此，本發明提供一種用于網站日志采集的方法及裝置，能夠提高工作效率，節約帶寬資源，降低了服務器端的資源消耗。

本發明的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。

根據本發明的一方面，提出一種用于網站日志采集的方法，該方法包括：通過客戶端的瀏覽器獲取日志請求；在客戶端根據預定規則判斷日志請求是否需要進行預處理；對需要進行預處理的日志請求進行預處理，以生成上報消息；以及將上報消息由客戶端發送至預定服務器。

在本公開的一種示例性實施例中，還包括：通過瀏覽器獲取策略消息，并將策略消息緩存到客戶端的本地。

在本公開的一種示例性實施例中，通過客戶端的瀏覽器獲取策略消息，并將策略消息緩存到本地，包括：通過客戶端的瀏覽器發送日志請求時，獲取策略消息，并將策略消息緩存到本地。

在本公開的一種示例性實施例中，通過客戶端的瀏覽器獲取日志請求，包括：通過瀏覽器加載采集腳本語言；通過采集腳本語言，在用戶對瀏覽器中的網頁進行操作時獲取對應的日志請求。

在本公開的一種示例性實施例中，在客戶端根據預定規則判斷日志請求是否需要進行預處理，包括：在客戶端通過策略消息生成預定規則；以及根據預定規則判斷日志請求是否需要進行預處理。

在本公開的一種示例性實施例中，對需要進行預處理的日志請求進行預處理，生成上報消息，包括：通過瀏覽器的localStorage對日志請求進行預處理，生成上報消息。