[發明專利]一種數據同步方法及裝置

有效

• 申請號: 202011566795.4
• 申請日: 2020-12-25
• 公開（公告）號: CN112597247B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 江峰;鄭高
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2455
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 王茹

1.一種數據同步方法，其特征在于，包括：

從源表中抽取第一數據組中的數據至第一緩存隊列，并根據在預設字段的取值調整所述第一數據組中的各條數據的排列順序以得到第二數據組，使第二數據組中在所述預設字段具有相同取值的所有數據相鄰排列；

將所述第二數據組中的數據抽取至第二緩存隊列，并逐條識別所述第二緩存隊列中的每條數據在所述預設字段的取值；

當識別到任一條數據在所述預設字段的取值與上一條數據不同時，將所述第二緩存隊列中位于所述任一條數據之前的所有數據批量同步至目的表中對應的分區。

2.根據權利要求1所述的方法，其特征在于，還包括：

當檢測到預設反壓條件被滿足時，降低抽取第一數據組中的數據至第一緩存隊列的速度和/或降低抽取所述第二數據組中的數據至第二緩存隊列的速度。

3.根據權利要求2所述的方法，其特征在于，所述預設反壓條件包括：第一預設反壓條件和第二預設反壓條件；所述當檢測到預設反壓條件被滿足時，降低所述抽取第一數據組中的數據至第一緩存隊列的速度和/或降低所述抽取所述第二數據組中的數據至第二緩存隊列的速度，包括：

當檢測到任一緩存隊列的狀態滿足第一預設反壓條件時，降低將數據抽取至所述任一緩存隊列的速度；

當檢測到系統的狀態滿足第二預設反壓條件時，降低抽取第一數據組中的數據至第一緩存隊列的速度，以及降低抽取所述第二數據組中的數據至第二緩存隊列的速度。

4.根據權利要求3所述的方法，其特征在于，所述第一預設反壓條件包括以下至少之一：

所述任一緩存隊列中數據條數不小于第一預設值；

所述任一緩存隊列中數據字節數不小于第二預設值。

5.根據權利要求3所述的方法，其特征在于，所述第二預設反壓條件包括以下至少之一：

系統內存的占用量不小于第一預設閾值；

系統內存的剩余量不大于第二預設閾值；

系統內存的占用比例不小于第一預設比例；

系統內存的剩余比例不大于第二預設比例。

6.根據權利要求1所述的方法，其特征在于，所述將所述第二緩存隊列中位于所述任一條數據之前的所有數據批量同步至目的表中對應的分區，包括：

當對應的分區已存在時，將所述第二緩存隊列中位于所述任一條數據之前的所有數據批量同步至目的表中已存在的對應的分區；

當對應的分區不存在時，創建新分區，并將所述任一條數據之前的所有數據批量同步至創建的所述新分區。

7.根據權利要求1-6中任一項所述的方法，其特征在于，還包括：

通過對源表中的數據進行分片，將所述源表中的數據拆分成多份；

創建與各份數據一一對應的多個并行子任務；其中，每個子任務用于執行如權利要求1-6中任一項所述的方法，以將相應份的數據同步至所述目的表。

8.一種數據同步裝置，其特征在于，包括：

排序單元，用于從源表中抽取第一數據組中的數據至第一緩存隊列，并根據在預設字段的取值調整所述第一數據組中的各條數據的排列順序以得到第二數據組，使第二數據組中在所述預設字段具有相同取值的所有數據相鄰排列；

識別單元，用于將所述第二數據組中的數據抽取至第二緩存隊列，并逐條識別所述第二緩存隊列中的每條數據在所述預設字段的取值；

同步單元，用于當識別到任一條數據在所述預設字段的取值與上一條數據不同時，將所述第二緩存隊列中位于所述任一條數據之前的所有數據批量同步至目的表中對應的分區。

9.一種電子設備，其特征在于，包括：

處理器；

用于存儲處理器可執行指令的存儲器；

其中，所述處理器通過運行所述可執行指令以實現如權利要求1-7中任一項所述的方法。

10.一種計算機可讀存儲介質，其上存儲有計算機指令，其特征在于，該指令被處理器執行時實現如權利要求1-7中任一項所述方法的步驟。