[發明專利]基于多級緩存的數據統計方法、裝置、終端及存儲介質

在審

• 申請號: 202010589637.4
• 申請日: 2020-06-24
• 公開（公告）號: CN111723115A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 馮鵬;周維康;陳潔丹
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2457;G06F16/2458
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

1.一種基于多級緩存的數據統計方法，其特征在于，所述基于多級緩存的數據統計方法包括：

根據采集到的關鍵數據和所述關鍵數據的數據類型構建消息數據；

檢測所述消息數據的類型屬性，并基于所述類型屬性確定所述消息數據對應的緩存層級；

按照所述緩存層級將所述消息數據添加至對應的存儲空間進行緩存；

在所述存儲空間中對所述消息數據進行批量上傳并刪除。

2.如權利要求1所述的基于多級緩存的數據統計方法，其特征在于，在所述根據采集到的關鍵數據和所述關鍵數據的數據類型構建消息數據的步驟之前，還包括：

基于預設應用程序接口收集關鍵數據和所述關鍵數據的數據類型；

或者，基于預設數據埋點采集關鍵數據并檢測所述預設數據埋點的重要程度，根據所述重要程度確定所述關鍵數據的數據類型。

3.如權利要求1所述的基于多級緩存的數據統計方法，其特征在于，所述數據類型包括：重要類型、一般類型和非必要類型，

所述根據采集到的關鍵數據和所述關鍵數據的數據類型構建消息數據的步驟包括：

將所述關鍵數據進行組裝并和所述重要類型、所述一般類型或者所述非必要類型結合，以構建得到類型屬性為重要消息、一般消息或者非必要消息的消息數據。

4.如權利要求1所述的基于多級緩存的數據統計方法，其特征在于，所述緩存層級包括：內存緩存和數據庫緩存，

所述檢測所述消息數據的類型屬性，并基于所述類型屬性確定所述消息數據對應的緩存層級的步驟包括：

檢測所述消息數據的類型屬性是否為重要消息、一般消息或者非必要消息；

若檢測到所述類型屬性為重要消息，則確定所述消息數據對應的緩存層級為數據庫緩存；

若檢測到所述類型屬性為一般消息或者為非必要消息，則確定所述消息數據對應的緩存層級為內存緩存。

5.如權利要求4所述的基于多級緩存的數據統計方法，其特征在于，所述按照所述緩存層級將所述消息數據添加至對應的存儲空間進行緩存的步驟包括：

若檢測到所述消息數據的緩存層級為數據庫緩存，則基于所述消息數據生成重要消息上傳任務；

執行所述重要消息上傳任務將所述消息數據存儲至數據庫中并對所述數據庫中的消息數據量進行更新；

或者，若檢測到所述消息數據的緩存層級為內存緩存，則將所述消息數據添加至對應的緩存隊列并對內存中的消息數據量進行更新。

6.如權利要求5所述的基于多級緩存的數據統計方法，其特征在于，所述內存中的消息數據量包括：一般消息數據量，

在所述將所述消息數據添加至對應的緩存隊列并對內存中的消息數據量進行更新的步驟之后，還包括：

在檢測到所述一般消息數據量超過預設批量數據組裝閾值時，提取類型屬性為一般消息的消息數據的公共參數；

將所述公共參數格式化成為消息組，并基于所述消息組生成重要消息上傳任務；

執行所述重要消息上傳任務將所述消息組存儲至數據庫中并對所述數據庫中的消息組數據量進行更新。

7.如權利要求1-6任一項所述的基于多級緩存的數據統計方法，其特征在于，所述在所述存儲空間中對所述消息數據進行批量上傳并刪除的步驟包括：

在所述消息數據對應的存儲空間中分別讀取目標消息數據，其中，所述目標消息數據的數量大于或者等于一；

將所述目標消息數據打包封裝后同步上傳至預設后臺接口，并在上傳成功后刪除所述存儲空間中的所述目標消息數據。

8.一種基于多級緩存的數據統計裝置，其特征在于，所述基于多級緩存的數據統計裝置包括：

構建模塊，用于根據采集到的關鍵數據和所述關鍵數據的數據類型構建消息數據；

確定模塊，用于檢測所述消息數據的類型屬性，并基于所述類型屬性確定所述消息數據對應的緩存層級；

緩存模塊，用于按照所述緩存層級將所述消息數據添加至對應的存儲空間進行緩存；

上傳模塊，用于在所述存儲空間中對所述消息數據進行批量上傳并刪除。