[發明專利]一種客戶端日志收集方法

在審

• 申請號: 202111253095.4
• 申請日: 2021-10-27
• 公開（公告）號: CN113986862A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 劉義雷;于龍
• 申請（專利權）人: 上海星融汽車科技有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/14
• 代理公司: 上海樂泓專利代理事務所(普通合伙) 31385
• 代理人: 蘇杰

本發明公開了一種客戶端日志收集方法，屬于數據處理領域。它包括對客戶端的行為日志進行日志記錄并以接口的方式實時上傳；當上傳失敗時，將上傳失敗的日志緩存到本地，等待補傳；當上傳成功時，讀取本地緩存中的緩存信息并判斷是否有等待補傳的日志，若存在，則以壓縮包的方式對等待補傳的日志進行補傳。本發明能夠在上傳網絡不穩定的情況下，綜合多個因素綜合考慮上傳日志的時間、數量以及上傳網絡的網絡質量，動態調整日志上傳的方式、數量等，以保證日志能夠穩定、安全且速度較快的上傳至服務端。

技術領域

本發明屬于數據處理技術領域，更具體地說，涉及一種客戶端日志收集方法。

背景技術

目前，車輛遠程診斷設備的診斷操作記錄及診斷數據需要傳到后臺服務器，便于后臺技術人員進行統計數據、排查問題等管理操作，利于提升產品以及售后服務的質量。車輛遠程診斷設備的相關數據經由客戶端操作產生日志，并在有網絡連接的情況下將日志上傳到后臺服務器；但是當客戶端由于各種因素導致無法上傳日志到后臺服務器，技術人員無法獲取該時段的診斷數據和操作記錄，影響數據的統計。

在邊緣計算場景下，當車輛遠程診斷設備部署在邊緣端時，車輛遠程診斷設備會持續地處理機器節點采集的數據，進而產生大量的日志。然而，由于邊緣計算場景的網絡通常不穩定，采用傳統的日志上傳方法上傳大體量的日志數據時，會出現日志丟失的問題，日志上傳的穩定性較差。

為解決上述問題，申請號為CN202010617963.1、申請日為2020年07月01日的中國發明專利公開了一種日志上傳方法、日志查詢方法、系統、計算機設備和存儲介質。其中，所述的日志上傳方法主要包括以下內容：通過邊緣服務器獲取與該邊緣服務器處于同一個通信集群中的終端設備生成的初始日志，并根據初始日志的類型，選取對應的篩選策略對初始日志進行篩選，得到待上傳日志并上傳；所述上傳所述待上傳日志至云服務器，包括：

獲取所述邊緣服務器與所述云服務器之間的網絡傳輸參數；

根據所述網絡傳輸參數以及預設的限流算法，確定所述待上傳日志限流后的上傳速度；

以所述限流后的上傳速度上傳所述待上傳日志至云服務器；

所述網絡傳輸參數包括數據傳輸速度；所述根據所述網絡傳輸參數以及預設的限流算法，確定所述待上傳日志限流后的上傳速度，包括：

根據所述數據傳輸速度以及預設的令牌桶算法，確定令牌桶中令牌的添加速度，并根據所述令牌的添加速度，向所述令牌桶中添加令牌；

當接收到所述日志上傳請求時，根據所述令牌桶中已添加令牌的數量對所述日志上傳請求進行處理，確定所述待上傳日志限流后的上傳速率。

該申請中通過根據初始日志的類型，選取對應的篩選策略對初始日志進行篩選，實現了對初始日志的刪減和過濾，減小日志上傳的體量；又通過采用令牌桶算法對待上傳日志的上傳速率進行限流，防止網絡占用過高影響其他邊緣計算服務。但該方法仍存在一些缺陷：(1)對初始日志進行篩選使得該方法的應用具有一定的局限性。例如：以車輛遠程診斷設備的相關數據經由客戶端操作產生的日志為例，日志中并不包含級別為error的日志、debug的日志以及upload的日志，對初始日志進行篩選也就無從談起；(2)根據所述數據傳輸速度以及預設的令牌桶算法確定所述待上傳日志限流后的上傳速率，能夠防止網絡占用過高影響其他邊緣計算服務，但卻無法保證初始日志自身的上傳穩定性和時效性。

發明內容

1、要解決的問題

針對現有技術中存在的問題，本發明提供一種客戶端日志收集方法，綜合考慮上傳日志的時間、數量以及上傳網絡的網絡質量，動態調整日志上傳的方式、數量等，以保證日志能夠穩定、安全且速度較快的上傳至服務端。

2、技術方案

為解決上述問題，本發明采用如下的技術方案。