[發明專利]分布式數據遷移方法、系統和電子設備

在審

• 申請號: 202010468771.9
• 申請日: 2020-05-28
• 公開（公告）號: CN111694517A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 林媛
• 申請（專利權）人: 新浪網技術（中國）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/11
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許振新

本發明公開了一種分布式數據遷移方法、系統和電子設備，用以解決由數據遷移導致設備的線上服務質量不佳的問題。本方案包括：從包含至少一個遷移任務的遷移任務隊列中選取目標遷移任務；根據目標遷移任務確定目標數據遷入設備；向目標數據遷入設備發送同步指令，以指示目標數據遷入設備根據同步指令從目標數據遷出設備同步待遷出數據；獲取目標數據遷入設備的同步狀態，在目標數據遷入設備的同步狀態滿足預設同步狀態標準時，根據目標數據遷入設備修改待遷出數據的地址指向。通過本方案，能避免數據遷移過程中遷入設備或遷入設備過載，使遷入設備在數據遷移過程中能有資源來提供線上服務，避免數據遷移時對線上服務造成負面影響。

技術領域

本發明涉及分布式存儲技術領域，尤其涉及一種分布式數據遷移方法、系統和電子設備。

背景技術

分布式非結構化存儲是指通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。

當系統中由于數據設備損壞，容量平衡、設備搬遷等原因，設備上的的數據將會發生遷移變更。目前，在對分布式非結構化數據進行數據遷移時，通常有兩種方式進行，一種為對設備數據采取離線方式遷移數據，另一種為設備數據在線方式進行遷移數據，由于離線遷移需要中斷對外服務，因此，在線遷移成為分布式非結構化存儲的主流數據遷移方式。

現有的分布式非結構化數據在線遷移技術中，未關注涉及遷移的設備的資源使用情況，即極端情況下在線數據遷移可能造成設備的過載，甚至導致遷移的設備相關的網絡鏈路過載，進而影響在線設備系統的對外服務。

如何避免數據遷移時對線上服務造成負面影響，是本申請所要解決的技術問題。

發明內容

本申請實施例的目的是提供一種分布式數據遷移方法、系統和電子設備，用以解決由數據遷移導致設備的線上服務質量不佳的問題。

第一方面，提供了一種分布式數據遷移方法，包括：

從包含至少一個遷移任務的遷移任務隊列中選取目標遷移任務，所述遷移任務由數據遷出設備根據待遷出數據生成，其中，所述目標遷移任務是由資源使用率低于第一預設資源使用率的目標數據遷出設備生成的遷移任務；

根據所述目標遷移任務確定目標數據遷入設備，所述目標數據遷入設備的資源使用率低于第二預設資源使用率；

向所述目標數據遷入設備發送同步指令，以指示所述目標數據遷入設備根據所述同步指令從所述目標數據遷出設備同步所述待遷出數據；

獲取所述目標數據遷入設備的同步狀態，所述同步狀態用于表征執行數據同步的進度，在所述目標數據遷入設備的同步狀態滿足預設同步狀態標準時，根據所述目標數據遷入設備修改所述待遷出數據的地址指向。

可選的，所述目標遷移任務包括所述目標數據遷出設備的類型信息；

其中，根據所述目標遷移任務確定目標數據遷入設備，包括：

根據所述目標數據遷出設備的類型信息，將與所述目標數據遷出設備的類型信息相符的至少一個存儲設備確定為數據遷入設備，所述數據遷入設備與所述目標數據遷出設備的相似度大于預設相似度閾值；

根據各數據遷入設備的資源使用率，從至少一個所述數據遷入設備中確定所述目標數據遷入設備。

可選的，向所述目標數據遷入設備發送同步指令，以指示所述目標數據遷入設備根據所述同步指令從所述目標數據遷出設備同步所述待遷出數據，包括：

向所述目標數據遷入設備發送包含遷移資源使用率標準的同步指令，以指示所述目標數據遷入設備根據所述遷移資源使用率標準從所述目標數據遷出設備同步所述待遷出數據；

其中，所述遷移資源使用率標準包括以下至少一項：