[發明專利]數據遷移的管理方法、裝置、設備及存儲介質

在審

• 申請號: 202010224116.9
• 申請日: 2020-03-26
• 公開（公告）號: CN111274230A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 陳越晨
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27;H04L12/26;H04L29/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 孫翠賢;丁蕓

本發明實施例提供一種數據遷移的管理方法、裝置、設備及存儲介質。其中，一種數據遷移的管理方法，應用于數據遷移任務的管理平臺，在獲得數據遷移任務后，確定所述數據遷移任務對于待利用專線寬帶在指定時刻的第一帶寬占用量；其中，所述指定時刻屬于所述數據遷移任務的最早啟動時刻和最晚啟動時刻之間的時間段；確定利用專線寬帶的服務響應任務；預測所述服務響應任務對于所述專線寬帶在所述指定時刻的帶寬占用量，得到第二帶寬占用量；當第一帶寬占用量和第二帶寬占用量的和值符合預定的所述專線寬帶對應的流量控制條件時，在指定時刻停止執行所述數據遷移任務。本方案可以減少與數據遷移使用同一專線寬帶的服務響應任務的執行異常。

技術領域

本發明涉及數據遷移技術領域，特別是涉及一種數據遷移的管理方法、裝置、設備及存儲介質。

背景技術

為了應對互聯網服務的海量數據的特點，可以由存儲集群存儲數據，并由執行集群執行關于實現互聯網服務的服務響應任務。在此基礎上，如果執行集群在執行服務響應任務時需要使用存儲集群所存儲數據，那么，在任務執行之前，需要執行數據遷移任務。其中，所謂的數據遷移任務為：將存儲集群所存儲的數據遷移到執行集群的任務。

但是，發明人在實現本發明的過程中發現：

由于互聯網服務的海量數據的特點，因此，在執行數據遷移任務時很可能需要遷移大量數據，從而占用大量帶寬。那么，在數據遷移任務和服務響應任務共享同一專線寬帶的場景下，容易造成數據遷移任務占用的專線寬帶中，沒有足夠的可用帶寬供服務響應任務占用，服務響應任務出現執行異常的問題。

發明內容

本發明實施例的目的在于提供一種數據遷移的管理方法、裝置、設備及存儲介質，以實現減少與數據遷移任務使用同一專線寬帶的服務響應任務的執行異常的效果。具體技術方案如下：

第一方面，本發明實施例提供了一種數據遷移的管理方法，應用于數據遷移任務的管理平臺，該方法包括：

在獲得數據遷移任務后，確定所述數據遷移任務對于待利用專線寬帶在指定時刻的第一帶寬占用量；其中，所述指定時刻屬于所述數據遷移任務的最早啟動時刻和最晚啟動時刻之間的時間段；

確定利用所述專線寬帶的服務響應任務；

預測所述服務響應任務對于所述專線寬帶在所述指定時刻的帶寬占用量，得到第二帶寬占用量；

當所述第一帶寬占用量和所述第二帶寬占用量的和值符合預定的所述專線寬帶對應的流量控制條件時，在所述指定時刻停止執行所述數據遷移任務。

可選的，所述第一帶寬占用量和所述第二帶寬占用量的和值符合所述專線寬帶對應的流量控制條件，包括：

所述第一帶寬占用量和所述第二帶寬占用量的和值，大于所述專線寬帶對應的帶寬安全閾值。

可選的，所述預測所述服務響應任務對于所述專線寬帶在所述指定時刻的帶寬占用量，得到第二帶寬占用量，包括：

基于所述服務響應任務對于所述專線寬帶在連續多個第一歷史時刻的第一歷史帶寬占用量，利用預先訓練得到的第一時序預測模型，對所述服務響應任務對于所述專線寬帶在所述指定時刻的帶寬占用量進行預測，得到第二帶寬占用量；

其中，任一第一歷史時刻在所述指定時刻之前，且相鄰第一歷史時刻間隔指定時間步長；

其中，所述第一時序預測模型為基于第一訓練樣本集訓練得到、用于預測帶寬占用量的模型，所述第一訓練樣本集中包括第一樣本序列，所述第一樣本序列中包括所述服務響應任務對于所述專用帶寬在連續多個第一樣本時刻的第一樣本帶寬占用量，相鄰第一樣本時刻間隔所述指定時間步長。

可選的，所述多個第一樣本帶寬占用量，采用如下步驟獲得：