[發明專利]數據儲存方法及用于數據儲存的裝置

有效

• 申請號: 202010526897.7
• 申請日: 2020-06-11
• 公開（公告）號: CN111611229B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 蔡堯;胡祥林;李曉軍;田璐;成偉;趙燕飛
• 申請（專利權）人: 上海乾臻信息科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/25
• 代理公司: 蘇州領躍知識產權代理有限公司 32370
• 代理人: 王寧

本申請公開了數據儲存方法及用于數據儲存的裝置，用于第一數據庫的數據儲存方法，包括：確定第一數據庫的導出任務的待處理數據批次；對所述第一數據庫的所述待處理數據批次執行導出任務；將所述第一數據庫的已導出的所述待處理數據批次復制至第二數據庫，以供所述第二數據庫儲存。本申請提供的方法和裝置通過數據批次的方式，將第一數據庫的數據復制至第二數據庫，便于數據歸集，從而第二數據庫可以獲得全量數據的同時，提高數據傳輸效率。

技術領域

本申請涉及數據處理技術領域，尤其涉及數據儲存方法及用于數據儲存的裝置、電子設備、計算機可讀存儲介質。

背景技術

隨著信息技術的發展，數據的實時儲存等需求，各類物流、電商、物聯網平臺，考慮到業務所在地區跨度較大，網點眾多，網絡狀況十分復雜，因此，通常會設置多個數據中心，以物理距離為衡量，儲存各類終端上傳的數據，以改善網絡狀態的同時，保存全量數據。

然而，這樣的數據儲存方式，由于設置了多個數據中心，該多個數據中心分散在各地，當要進行數據加工和分析時，對于單個的數據中心，其無法獲得其它數據中心的數據，因此難以獲得全面的數據處理和分析。而若通過統一自該多個數據中心獲取數據進行數據加工和分析時，又會由于數據量過大而對數據傳輸的要求較高，且傳輸速度較慢，對后續的數據加工和分析的速度也有所影響。

發明內容

本申請的目的在于提供數據儲存方法及用于數據儲存的裝置、電子設備、計算機可讀存儲介質，解決現有技術的不足，通過數據批次的方式，將第一數據庫的數據復制至第二數據庫，便于數據歸集，從而第二數據庫可以獲得全量數據的同時，提高數據傳輸效率。

本申請的目的采用以下技術方案實現：

第一方面，本申請提供了一種數據儲存方法，用于第一數據庫，所述方法包括：

確定第一數據庫的導出任務的待處理數據批次；

對所述第一數據庫的所述待處理數據批次執行導出任務；

將所述第一數據庫的已導出的所述待處理數據批次復制至第二數據庫，以供所述第二數據庫儲存。

一方面，通過將第一數據庫中的數據通過數據批次的方式，導出并復制到第二數據庫中，從而使得第二數據庫可以獲得第一數據庫的數據，以便于數據歸集，從而有利于進行數據加工和數據分析；另一方面，通過數據批次的方式將第一數據庫中的數據復制到第二數據庫中，相比于逐條數據的傳輸，具有更高的數據傳輸效率，而更高的傳輸效率使得本申請的方案更適于應用在實時場景中，即使在非實時場景的傳輸中，高傳輸效率的傳輸方式也便于更快得進行后續的數據加工和數據分析；再一方面，在大量數據傳輸的場景中，通過數據批次的方式將第一數據庫中的數據復制到第二數據庫中，第二數據庫的數據導入壓力較為平均，極大地緩解了傳統逐條數據的傳輸可能帶來的第二數據庫的導入瓶頸；又一方面，通過將導出任務和復制任務分離，各任務的執行獨立，避免任務之間的相互影響。

可選地，所述確定第一數據庫的導出任務的待處理數據批次包括：

根據第一標識，確定第一數據庫的導出任務的待處理數據批次，所述第一標識指示所述第一數據庫的導出任務完成的前一數據批次的批次標識，

對應地，所述對所述第一數據庫的所述待處理數據批次執行導出任務之后，且所述將所述第一數據庫的已導出的所述待處理數據批次復制至第二數據庫之前，還包括：

按已完成導出任務的所述第一數據庫的所述待處理數據批次的批次標識，更新所述第一標識。

通過第一標識的設置和實時更新，便于導出任務的待處理數據批次的確定，從而便于導出任務的循環執行和獨立執行，無需設置統一的執行時間。

可選地，所述對所述第一數據庫的所述待處理數據批次執行導出任務之后，且所述將所述第一數據庫的已導出的所述待處理數據批次復制至第二數據庫之前，還包括：