[發明專利]數據同步的資源分配方法、裝置、存儲介質和電子設備

有效

• 申請號: 201811289642.2
• 申請日: 2018-10-31
• 公開（公告）號: CN109597687B
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 李琛
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/27
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 李鵬;魏嘉熹

1.一種數據同步的資源分配方法，其特征在于，所述方法包括：

針對于增量數據同步任務對應的n個數據表，在第i個迭代周期內以第一數據表資源配比執行每個所述數據表對應的數據同步任務；其中，所述第一數據表資源配比是在第i-1個迭代周期內獲取到的數據表資源配比，所述第i個迭代周期包括m個執行周期，所述執行周期為對數據源中的增量數據進行輪詢的時間間隔，m、n為大于1的整數，i為大于或等于1的整數，且i的起始值為1；

在所述第i個迭代周期中的第m個執行周期執行完成后，通過第一訓練數據對資源配比模型進行訓練，所述第一訓練數據包括：歷史執行周期內采集到的每個所述數據表對應的多組指標參數，所述歷史執行周期包含所述第m個執行周期和所述第m個執行周期之前的所有執行周期；

在完成對所述資源配比模型的訓練后，將在所述第i個迭代周期中的第m個執行周期采集到的所述n個數據表對應的n組指標參數作為所述資源配比模型的輸入，以獲取所述資源配比模型輸出的目標數據表資源配比；

在第i+1個迭代周期內以所述目標數據表資源配比執行每個所述數據表對應的數據同步任務。

2.根據權利要求1所述的方法，其特征在于，在所述在第i+1個迭代周期內以所述目標數據表資源配比執行每個所述數據表對應的數據同步任務之前，所述方法還包括：

通過預設的差異度算法確定在所述第i個迭代周期內獲取到的所述目標數據表資源配比與在第i-1個迭代周期內獲取到的所述第一數據表資源配比之間的差異度；

當所述目標數據表資源配比與所述第一數據表資源配比之間的差異度小于預設差異度時，將第i+1個迭代周期設定為包括w個執行周期，其中，w為根據所述差異度與所述預設差異度的差值確定的執行周期個數，且wm；或者，

當所述目標數據表資源配比與所述第一數據表資源配比之間的差異度大于預設差異度時，將所述第i+1個迭代周期設定為包括m個執行周期。

3.根據權利要求1所述的方法，其特征在于，在所述在第i+1個迭代周期內以所述目標數據表資源配比執行每個所述數據表對應的數據同步任務之后，所述方法還包括：

令i＝i+1，重復執行從所述針對于增量數據同步任務對應的n個數據表，在第i個迭代周期內以第一數據表資源配比執行每個所述數據表對應的數據同步任務至所述在第i+1個迭代周期內以所述目標數據表資源配比執行每個所述數據表對應的數據同步任務的步驟，直至所述增量數據同步任務結束。

4.根據權利要求1所述的方法，其特征在于，所述第一數據表資源配比是在第i-1個迭代周期內獲取到的數據表資源配比，包括：

當i＝1時，所述第一數據表資源配比為在所述增量數據同步任務的任務初始化階段預先設置的數據表資源配比；當i1時，所述第一數據表資源配比為所述在第i-1個周期內獲取到的數據表資源配比。

5.根據權利要求1所述的方法，其特征在于，所述在所述第i個迭代周期中的第m個執行周期執行完成后，通過第一訓練數據對資源配比模型進行訓練，包括：

在所述第i個迭代周期中的第m個執行周期執行完成后，獲取所述歷史執行周期內的y個執行周期采集到的所述n個數據表對應的y*n組所述指標參數，作為所述第一訓練數據，其中，當i＝1時，y＝m，當i1時，ym；

通過所述第一訓練數據對所述資源配比模型進行訓練。

6.根據權利要求1所述的方法，其特征在于，所述數據表包括發送端數據表和接收端數據表，所述指標參數用于指示每個所述數據表對應的數據同步任務在所述歷史執行周期中的執行狀態，所述指標參數包括：所述執行周期的周期時長，每個所述數據表對應的數據同步任務的執行時長、數據量和數據大小，以及數據從發送端數據庫導入至所述發送端數據表的導入速率和數據從所述接收端數據表導出至接收端數據庫的導出速率。