[發明專利]數據同步的資源分配方法、裝置、存儲介質和電子設備

有效

• 申請號: 201811289642.2
• 申請日: 2018-10-31
• 公開（公告）號: CN109597687B
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 李琛
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/27
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 李鵬;魏嘉熹

本公開涉及一種數據同步的資源分配方法、裝置、存儲介質和電子設備，該方法包括：在當前迭代周期內以上一迭代周期內獲取到的數據表資源配比執行每個數據表對應的數據同步任務；在該當前迭代周期中的第m個執行周期執行完成后，通過歷史執行周期內采集到的每個數據表對應的多組指標參數對資源配比模型進行訓練；將在該第m個執行周期采集到n個數據表對應的n組指標參數作為該資源配比模型的輸入，以獲取目標數據表資源配比；在下一迭代周期內以該目標數據表資源配比執行每個上述數據表對應的數據同步任務。能夠根據數據表在不同執行周期的數據同步的執行狀況，動態地為數據同步任務分配計算資源，增強資源分配的合理性，提高數據同步的效率。

技術領域

本公開涉及數據同步管理領域，具體地，涉及一種數據同步的資源分配方法、裝置、存儲介質和電子設備。

背景技術

數據同步即是將一組數據從一個數據源通過拷貝到另一個數據源的技術，數據同步的方式可以包括：存量同構數據源數據同步、存量異構數據源數據同步、實時同構數據源數據同步以及實時異構數據源數據同步。其中，不考慮數據源的同構或異構，存量數據源數據同步即是將數據源中的數據一次性地批量導入到目標數據庫中；實時數據源數據同步則需要通過創建輪詢任務，周期性地讀取數據源庫中增量數據并導入到目標數據庫中。相關技術中，針對于實時數據源數據同步任務，由于無法預知每一個執行周期內增量數據的數據規模以及所需的計算資源，一般對于在同一執行周期內的每組源數據的數據同步任務都分配相同的計算資源。但是，增量數據的數據規模在一定時間內可能存在極大變化，每個執行周期內所消耗的計算資源也會隨之變化，因此，在多表多任務的情況下，僅是將計算資源進行平均分配會造成資源浪費或資源缺失，影響數據同步的效率，進而影響數據同步任務的整體性能。

發明內容

為克服相關技術中存在的問題，本公開的目的是提供一種數據同步的資源分配方法、裝置、存儲介質和設備。

為了實現上述目的，根據本公開實施例的第一方面，提供一種數據同步的資源分配方法，所述方法包括：

針對于增量數據同步任務對應的n個數據表，在第i個迭代周期內以第一數據表資源配比執行每個所述數據表對應的數據同步任務；其中，所述第一數據表資源配比是在第i-1個迭代周期內獲取到的數據表資源配比，所述第i個迭代周期包括m個執行周期，所述執行周期為對數據源中的增量數據進行輪詢的時間間隔，m、n為大于1的整數，i為大于或等于1的整數，且i的起始值為1；

在所述第i個迭代周期中的第m個執行周期執行完成后，通過第一訓練數據對資源配比模型進行訓練，所述第一訓練數據包括：歷史執行周期內采集到的每個所述數據表對應的多組指標參數，所述歷史執行周期包含所述第m個執行周期和所述第m個執行周期之前的所有執行周期；

在完成對所述資源配比模型的訓練后，將在所述第i個迭代周期中的第m個執行周期采集到所述n個數據表對應的n組指標參數作為所述資源配比模型的輸入，以獲取所述資源配比模型輸出的目標數據表資源配比；

在第i+1個迭代周期內以所述目標數據表資源配比執行每個所述數據表對應的數據同步任務。

可選的，在所述在第i+1個迭代周期內以所述目標數據表資源配比執行每個所述數據表對應的數據同步任務之前，所述方法還包括：

通過預設的差異度算法確定在所述第i個迭代周期內獲取到的所述目標數據表資源配比與在第i-1個迭代周期內獲取到的所述第一數據表資源配比之間的差異度；

當所述目標數據表資源配比與所述第一數據表資源配比之間的差異度小于預設差異度時，將第i+1個迭代周期設定為包括w個執行周期，其中，w為根據所述差異度與所述預設差異度的差值確定的執行周期個數，且wm；或者，

當所述目標數據表資源配比與所述第一數據表資源配比之間的差異度大于預設差異度時，將所述第i+1個迭代周期設定為包括m個執行周期。