[發明專利]埋點數據處理方法及系統

在審

• 申請號: 202111502628.8
• 申請日: 2021-12-09
• 公開（公告）號: CN114154073A
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 李闖;王維科;王超;董紅順;王紅瓅;陳乃明
• 申請（專利權）人: 航天信息股份有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/958
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

本發明提供一種埋點數據處理方法及系統，該埋點數據處理方法包括：封裝客戶端的瀏覽器將接收的業務數據以及功能數據以預定義的數據記錄格式進行記錄，得到埋點數據；當所述埋點數據的數量達到預設閾值或者所述客戶端被關閉時，所述瀏覽器將所述埋點數據上傳至服務器；所述服務器將所述埋點數據存儲至消息隊列中，并在運行壓力小于預設閾值時，對所述埋點數據進行處理，以及將處理后的埋點數據存入數據庫中。

技術領域

本發明涉及數據處理領域，更具體地講，涉及一種埋點數據處理方法及系統。

背景技術

對于采用客戶端與服務端交互形式的應用，功能種類的設置、功能位置的擺放、功能按鈕的排布，對用戶的使用都會產生較大影響，并且在推廣初期及后期功能拓展中，如何根據用戶的需求、喜好、習慣來布置功能結構、功能點擊功能擺放及按鈕設置，需要強大的埋點數據解析模型作為支撐，如何更加高效、有效的獲取埋點數據，成為了應用生命周期中的重要過程。

發明內容

本發明的實施例的目的在于提供一種埋點數據處理方法及系統，以在有效降低系統復雜性，保證系統運行穩定性前提下，依賴業務數據但不依賴業務系統的情況下，高效的將客戶端埋點數據發送至服務端并進行持久化。

第一方面，本發明提供一種埋點數據處理方法，其特征在于，包括：

封裝客戶端的瀏覽器將接收的業務數據以及功能數據以預定義的數據記錄格式進行記錄，得到埋點數據；

當所述埋點數據的數量達到預設閾值或者所述客戶端被關閉時，所述瀏覽器將所述埋點數據上傳至服務器；

所述服務器將所述埋點數據存儲至消息隊列中，并在運行壓力小于預設閾值時，對所述埋點數據進行處理，以及將處理后的埋點數據存入數據庫中。

進一步地，所述客戶端為C++封裝瀏覽器內核形式存在的EXE應用，所述埋點數據包括：菜單ID、模塊ID、應用ID及用戶信息及本機的MAC信息和時間戳數據。

進一步地，所述瀏覽器將所述埋點數據上傳至服務器的步驟包括：

所述瀏覽器將所述埋點數據進行gzip壓縮后，進行base64編碼，得到編碼后的所述埋點數據；

所述瀏覽器將編碼后的所述埋點數據上傳至服務器。

進一步地，所述服務器對所述埋點數據進行處理的步驟包括：

所述服務器從隊列中獲取數據，然后進行解碼、解壓操作，操作后得到原始數據，并對原始數據進行解析，解析后形成批量存儲的數據形式。

進一步地，所述封裝客戶端的瀏覽器將接收的業務數據以及功能數據以預定義的數據記錄格式進行記錄的步驟包括：

封裝客戶端的瀏覽器將接收的業務數據以及功能數據以預定義的數據記錄格式在內存中進行記錄。

第二方面，一種埋點數據處理系統包括：

封裝客戶端的瀏覽器，用于將接收的業務數據以及功能數據以預定義的數據記錄格式進行記錄，得到埋點數據；當所述埋點數據的數量達到預設閾值或者所述客戶端被關閉時，將所述埋點數據上傳至服務器；

所述服務器，用于將所述埋點數據存儲至消息隊列中，并在運行壓力小于預設閾值時，對所述埋點數據進行處理，以及將處理后的埋點數據存入數據庫中。

進一步地，所述客戶端為C++封裝瀏覽器內核形式存在的EXE應用，所述埋點數據包括：菜單ID、模塊ID、應用ID及用戶信息及本機的MAC信息和時間戳數據。

進一步地，所述瀏覽器具體用于：將所述埋點數據進行gzip壓縮后，進行base64編碼，得到編碼后的所述埋點數據，以及將編碼后的所述埋點數據上傳至服務器。