[發明專利]用于網站日志采集的方法及裝置

有效

• 申請號: 201710722629.0
• 申請日: 2017-08-22
• 公開（公告）號: CN107480277B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 焦文健;安海雄;李雙義;王海旭
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 闞梓瑄;王衛忠

1.一種用于網站日志采集的方法，其特征在于，包括：

通過客戶端的瀏覽器獲取網站中的日志請求；

在所述客戶端根據預定規則中的日志類型判斷所述日志請求是否需要進行預處理；

對需要進行預處理的所述日志請求進行預處理，以生成上報消息；以及

將所述上報消息由所述客戶端發送至預定服務器；

其中，所述對需要進行預處理的所述日志請求進行處理，生成上報消息，包括以下處理過程至少一者：

對需要進行預處理的所述日志請求進行儲存處理，當儲存到預定數量時，生成所述上報消息；

對需要進行預處理的所述日志請求進行過濾處理，生成所述上報消息；以及

對需要進行預處理的所述日志請求進行計算處理，生成所述上報消息。

2.如權利要求1所述的方法，其特征在于，還包括：

通過所述瀏覽器獲取策略消息，并將所述策略消息緩存到所述客戶端的本地。

3.如權利要求2所述的方法，其特征在于，所述通過客戶端的瀏覽器獲取策略消息，并將所述策略消息緩存到本地，包括：

通過所述客戶端的瀏覽器發送日志請求時，獲取所述策略消息，并將所述策略消息緩存到本地。

4.如權利要求1所述的方法，其特征在于，所述通過客戶端的瀏覽器獲取日志請求，包括：

通過所述瀏覽器加載采集腳本語言；

通過所述采集腳本語言，在用戶對所述瀏覽器中的網頁進行操作時獲取對應的日志請求。

5.如權利要求2所述的方法，其特征在于，所述在所述客戶端根據預定規則中的日志類型判斷所述日志請求是否需要進行預處理，包括：

在所述客戶端通過策略消息生成所述預定規則，其中，所述策略消息中包括日志類型；以及

根據預定規則中的日志類型判斷所述日志請求是否需要進行預處理。

6.如權利要求1所述的方法，其特征在于，所述對需要進行預處理的所述日志請求進行預處理，生成上報消息，包括：

通過所述瀏覽器的localStorage對所述日志請求進行預處理，生成所述上報消息。

7.如權利要求1所述的方法，其特征在于，所述對需要進行預處理的所述日志請求進行儲存處理，生成上報消息，包括：

將所述日志請求字段分為公共字段與可變字段；

通過所述公共字段生成所述上報消息；以及

通過所述可變字段生成所述上報消息。

8.如權利要求1所述的方法，其特征在于，所述將所述上報消息由客戶端發送至預定服務器，包括：

在滿足觸發條件時，將所述上報消息由所述客戶端發送至預定服務器。

9.一種用于網站日志采集的方法，其特征在于，包括：

確定策略消息內容；以及

接收客戶端的網站中的日志請求時，將所述策略消息傳輸至所述客戶端，以使得所述客戶端根據所述策略消息中的預定規則對所述日志請求進行預處理，其中，所述日志請求通過所述客戶端的瀏覽器獲??；

接收所述客戶端根據所述預處理生成的上報消息；

其中，所述策略消息中包括日志類型，以使得所述客戶端根據所述預定規則對所述日志類型的日志數據進行預處理；以及

所述客戶端根據所述策略消息中的預定規則對所述日志請求進行預處理包括以下處理過程中至少一者：

對需要進行預處理的所述日志請求進行儲存處理，當儲存到預定數量時，生成上報消息；

對需要進行預處理的所述日志請求進行過濾處理，生成上報消息；以及

對需要進行預處理的所述日志請求進行計算處理，生成上報消息。