[發明專利]數據處理方法、裝置、系統及存儲介質

在審

• 申請號: 201911188291.0
• 申請日: 2019-11-28
• 公開（公告）號: CN112860715A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 隋玉杰
• 申請（專利權）人: 北京沃東天駿信息技術有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 鈄颯颯;劉芳

本申請提供一種數據處理方法、裝置、系統及存儲介質，該方法，包括：對待更新數據進行時間戳包裝，得到包裝后的數據；將所述包裝后的數據存入緩存空間中；根據預設周期，遍歷所述緩存空間，獲取所述緩存空間中所述包裝后的數據的時間戳所對應的時間；若所述包裝后的數據的時間戳所對應的時間小于當前時間，則將所述包裝后的數據寫入數據庫中。本申請可以在不改變數據庫配置的前提下，適應高頻次的數據更新，保證數據庫的穩定性，降低數據庫的硬件成本。

技術領域

本申請涉及大數據技術領域，尤其涉及一種數據處理方法、裝置、系統及存儲介質。

背景技術

隨著數據處理量的不斷增加，需要通過數據庫對數據進行存儲管理。在一些業務較為復雜或者用戶較多的場景中，經常需要對數據進行頻繁的更新處理。每一次更新變動，都會向數據庫提交一次數據，然后由數據庫對提交的數據進行清洗和存儲處理。

目前，一般采用提高數據庫自身配置的方式來適應數據的頻繁更新，或者通過異步處理的方式來抑制數據庫的數據處理峰值。

但是，上述方式不能降低數據更新的頻率，導致對數據庫的配置和吞吐量的要求較高。

發明內容

本申請提供一種數據處理方法、裝置、系統及存儲介質，可以在不改變數據庫配置的前提下，適應高頻次的數據更新，保證數據庫的穩定性，降低數據庫的硬件成本。

第一方面，本申請實施例提供一種數據處理方法，包括：

對待更新數據進行時間戳包裝，得到包裝后的數據；

將所述包裝后的數據存入緩存空間中；

根據預設周期，遍歷所述緩存空間，獲取所述緩存空間中所述包裝后的數據的時間戳所對應的時間；

若所述包裝后的數據的時間戳所對應的時間小于當前時間，則將所述包裝后的數據寫入數據庫中。

在一種可選的設計中，所述對待更新數據進行時間戳包裝，得到包裝后的數據，包括：

在所述待更新數據中添加起始時間點和有效時間段，得到所述包裝后的數據；其中，所述起始時間點包括：數據生成時間，或數據上一次的更新時間；所述有效時間段包括：數據不變更的上限時間。

在一種可選的設計中，將所述包裝后的數據存入緩存空間中，包括：

獲取所述待更新數據的數據標識；

若所述緩存空間中存在所述數據標識對應的數據，則將所述包裝后的數據覆蓋緩存空間中所述數據標識對應的數據；

若所述緩存空間中不存在所述數據標識對應的數據，則將所述包裝后的數據存入所述緩存空間中。

在一種可選的設計中，獲取所述緩存空間中所述包裝后的數據的時間戳所對應的時間，包括：

獲取所述緩存空間中所述包裝后的數據的起始時間點和有效時間段；

計算所述起始時間點和所述有效時間段之和，得到所述包裝后的數據的時間戳所對應的時間。

在一種可選的設計中，還包括：

若所述包裝后的數據的時間戳所對應的時間小于當前時間，則刪除所述緩存空間中的所述包裝后的數據。

在一種可選的設計中，還包括：

若所述包裝后的數據的時間戳所對應的時間不小于當前時間，則不將所述包裝后的數據寫入所述數據庫中。

第二方面，本申請實施例提供一種數據處理裝置，包括：

包裝模塊，用于對待更新數據進行時間戳包裝，得到包裝后的數據；