[發明專利]一種數據處理方法、裝置、計算機設備及存儲介質

有效

• 申請號: 201910730003.3
• 申請日: 2019-08-08
• 公開（公告）號: CN110442565B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 邵健鋒;崔巍
• 申請（專利權）人: 深圳市今天國際物流技術股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/2453
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 林燕云

1.一種數據處理方法，其特征在于，包括：

按照預定時間長度劃分數據庫，并指定所寫入數據的抓取起始時刻；

當數據庫進入到抓取期時，將抓取到的數據寫入到數據庫中，抓取完成后對下一進入到抓取期的數據庫進行寫入；

當數據庫進入到處理期時，對所述數據庫中的數據進行本地處理，處理完成后對下一進入到處理期的數據庫中的數據進行本地處理；若在一個處理期內，配置和使用一個或多個處理器，每個處理器對應一個業務功能；若在某一個處理期內不使用任何處理器，所述處理期只作為時間間隔，以等待所述數據庫進入下一個處理期；通過接口設置處理器輸入的時間偏移量，所述時間偏移量為非負時間值，默認為0；

在本地處理完成后，導出數據庫中的數據；

所述當數據庫進入到處理期時，對所述數據庫中的數據進行本地處理，處理完成后對下一進入到處理期的數據庫中的數據進行本地處理之前，所述數據處理方法還包括：

當數據庫進入到冷卻期時，對所述數據庫進行冷卻處理，以在需要時提供繼續抓取和為進入處理期進行準備；其中，處于冷卻期的數據庫設置為可寫入狀態；

所述處理期設置有多個，相應的，所述當數據庫進入到處理期時，對所述數據庫中的數據進行本地處理，處理完成后對下一進入到處理期的數據庫中的數據進行本地處理包括：

當數據庫進入到當前處理期時，對所述數據庫中的數據進行本地處理，處理完成后對下一進入到當前處理期的數據庫中的數據進行本地處理；

當數據庫進入到下一處理期時，對所述數據庫中的數據進行本地處理，處理完成后對下一進入到下一處理期的數據庫中的數據進行本地處理；

所述對所述數據庫中的數據進行本地處理包括：

確定數據庫中所需導出的數據，并對所需導出的數據進行復制；

所述確定數據庫中所需導出的數據包括：確定數據庫中不需導出的數據，并將數據庫中除不需導出之外的數據確定為所需導出的數據；其中確定數據庫中不需導出的數據包括確定數據庫中的冗余數據、確定數據庫中的無用數據和確定數據庫中轉換數據維度可剔除的數據中的一種或幾種；

所述導出數據庫中的數據之后，所述數據處理方法還包括：

將導出的數據上傳至云端，進行數據建模和AI分析，并刪除本地導出的數據和/或對應數據庫。

2.一種數據處理裝置，其特征在于，包括：

劃分模塊，用于按照預定時間長度劃分數據庫，并指定所寫入數據的抓取起始時刻；

寫入模塊，用于當數據庫進入到抓取期時，將抓取到的數據寫入到數據庫中，抓取完成后對下一進入到抓取期的數據庫進行寫入；

本地處理模塊，用于當數據庫進入到處理期時，對所述數據庫中的數據進行本地處理，處理完成后對下一進入到處理期的數據庫中的數據進行本地處理；若在一個處理期內，配置和使用一個或多個處理器，每個處理器對應一個業務功能；若在某一個處理期內不使用任何處理器，所述處理期只作為時間間隔，以等待所述數據庫進入下一個處理期；通過接口設置處理器輸入的時間偏移量，所述時間偏移量為非負時間值，默認為0；

數據導出模塊，用于在本地處理完成后，導出數據庫中的數據；

冷卻模塊，用于當數據庫進入到冷卻期時，對所述數據庫進行冷卻處理，以在需要時提供繼續抓取和為進入處理期進行準備；其中，處于冷卻期的數據庫設置為可寫入狀態；

所述處理期設置有多個，相應的，所述本地處理模塊包括：

當前處理單元，用于當數據庫進入到當前處理期時，對所述數據庫中的數據進行本地處理，處理完成后對下一進入到當前處理期的數據庫中的數據進行本地處理；

下一處理單元，用于當數據庫進入到下一處理期時，對所述數據庫中的數據進行本地處理，處理完成后對下一進入到下一處理期的數據庫中的數據進行本地處理；

所述本地處理模塊包括：

確定數據庫中所需導出的數據，并對所需導出的數據進行復制；

所述確定數據庫中所需導出的數據包括：確定數據庫中不需導出的數據，并將數據庫中除不需導出之外的數據確定為所需導出的數據；其中確定數據庫中不需導出的數據包括確定數據庫中的冗余數據、確定數據庫中的無用數據和確定數據庫中轉換數據維度可剔除的數據中的一種或幾種；

所述導出數據庫中的數據之后，所述數據處理裝置還包括：

將導出的數據上傳至云端，進行數據建模和AI分析，并刪除本地導出的數據和/或對應數據庫。