[發明專利]一種數據同步方法、裝置及電子設備

有效

• 申請號: 201711317030.5
• 申請日: 2017-12-12
• 公開（公告）號: CN108009261B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 陳越晨
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;馬敬

1.一種數據同步方法，其特征在于，所述方法包括：

獲取用戶終端發送的數據同步請求，其中，所述數據同步請求中至少攜帶有待同步數據表標識信息、以及目的數據庫標識信息；

查找與所述待同步數據表標識信息對應的待同步數據表，并獲取所述待同步數據表中的每個字段；

獲取每個字段中的最大字段值和最小字段值，并根據所述每個字段中的最大字段值和最小字段值，對應將每個字段中的字段值進行分配，得到多份字段值；

計算每個字段分配得到的每份字段值的數據量，并根據所述每份字段值的數據量，計算所述每個字段對應的數據量的方差，所述每份字段值的數據量至少是對該份字段值中的多個字段值進行相加或相乘得到的；

針對每個字段，判斷該字段對應的數據量的方差是否小于預設方差閾值，如果是，將該字段作為所述待同步數據表的分區鍵；

按照各分區鍵對所述待同步數據表進行分區，得到所述待同步數據表的多個子數據表；

將所述多個子數據表同步到與所述目的數據庫標識信息對應的目的數據庫。

2.根據權利要求1所述的方法，其特征在于，所述數據同步請求中還攜帶有預設并行度，所述根據所述每個字段中的最大字段值和最小字段值，對應將每個字段中的字段值進行分配，得到多份字段值，包括：

根據所述每個字段中的最大字段值和最小字段值，對應將每個字段中的字段值分配得到所述預設并行度整數倍份數的字段值。

3.根據權利要求1所述的方法，其特征在于，在所述針對每個字段，判斷該字段對應的數據量的方差是否小于預設方差閾值，如果是，將該字段作為所述待同步數據表的分區鍵之后，所述方法還包括：

將所述待同步數據表的各分區鍵添加至預設分區鍵集合中；

相應的，所述按照各分區鍵對所述待同步數據表進行分區，得到所述待同步數據表的多個子數據表，包括：

按照所述預設分區鍵集合中的各分區鍵，對所述待同步數據表進行分區，得到所述待同步數據表的多個子數據表。

4.根據權利要求1所述的方法，其特征在于，所述數據同步請求中還攜帶有預設并行度，所述按照各分區鍵對所述待同步數據表進行分區，得到所述待同步數據表的多個子數據表，包括：

針對每個分區鍵，按照該分區鍵和所述預設并行度對與該分區鍵對應的字段值進行分區，得到與該分區鍵對應的區間范圍；

將同時處于各分區鍵的區間范圍的多行記錄作為一個子數據表，得到所述待同步數據表的多個子數據表。

5.根據權利要求1所述的方法，其特征在于，在所述將所述多個子數據表同步到與所述目的數據庫標識信息對應的目的數據庫之后，所述方法還包括：

在同步完成后，發送同步成功的通知信息至所述用戶終端。

6.一種數據同步裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取用戶終端發送的數據同步請求，其中，所述數據同步請求中至少攜帶有待同步數據表標識信息、以及目的數據庫標識信息；

查找模塊，用于查找與所述待同步數據表標識信息對應的待同步數據表，并獲取所述待同步數據表中的每個字段；

分配模塊，用于獲取每個字段中的最大字段值和最小字段值，并根據所述每個字段中的最大字段值和最小字段值，對應將每個字段中的字段值進行分配，得到多份字段值；

計算模塊，用于計算每個字段分配得到的每份字段值的數據量，并根據所述每份字段值的數據量，計算所述每個字段對應的數據量的方差，所述每份字段值的數據量至少是對該份字段值中的多個字段值進行相加或相乘得到的；

判斷模塊，用于針對每個字段，判斷該字段對應的數據量的方差是否小于預設方差閾值，如果是，將該字段作為所述待同步數據表的分區鍵；

分區模塊，用于按照各分區鍵對所述待同步數據表進行分區，得到所述待同步數據表的多個子數據表；

同步模塊，用于將所述多個子數據表同步到與所述目的數據庫標識信息對應的目的數據庫。