[發明專利]數據遷移方法及裝置、存儲介質及電子設備

在審

• 申請號: 202010053359.0
• 申請日: 2020-01-17
• 公開（公告）號: CN113138972A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 陳俊偉;林金明;王洋;金薇薇;仇路;李鑫
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝;闞梓瑄

1.一種數據遷移方法，其特征在于，包括：

接收數據遷移指令；

確定緩存數據集群中現有的各原緩存數據分片與新部署的各目標緩存數據分片之間的數據遷移方向；

依據所述數據遷移指令，將所述原緩存數據分片中的待遷移數據依據所述數據遷移方向遷移至所述目標緩存數據分片，并在所述原緩存數據分片中維護遷移狀態；

將所述遷移狀態中記錄的遷移結果發送至管理模塊。

2.根據權利要求1所述的數據遷移方法，其特征在于，所述確定緩存數據集群中現有的各原緩存數據分片與新部署的各目標緩存數據分片之間的數據遷移方向，包括：

確定各所述目標緩存數據分片在所述緩存數據集群對應的一致性哈希環中的節點位置；

依據所述節點位置確定所述數據遷移方向。

3.根據權利要求1所述的數據遷移方法，其特征在于，所述數據遷移指令包括第一遷移步長及第二遷移步長；

所述將所述原緩存數據分片中的待遷移數據依據所述數據遷移方向遷移至所述目標緩存數據分片，并在所述原緩存數據分片中維護遷移狀態，包括：

初始化一個遷移狀態文件來維護所述遷移狀態，其中，所述遷移狀態包含第一復制偏移量及第二復制偏移量；

以所述第一遷移步長為單位，對所述原緩存數據分片中的所述待遷移數據進行全量遷移；

以所述第二遷移步長為單位，對所述原緩存數據分片在所述全量遷移過程中新增的待遷移數據進行增量遷移，直至所述第二復制偏移量與所述第一復制偏移量達到一致；

其中，所述第一復制偏移量為所述原緩存數據分片熱備文件的復制偏移量，所述第二復制偏移量為在所述全量遷移及所述增量遷移的過程中所維護的復制偏移量。

4.根據權利要求3所述的數據遷移方法，其特征在于，所述以所述第一遷移步長為單位，對所述原緩存數據分片中的所述待遷移數據進行全量遷移，包括：

以所述第一遷移步長為單位，按數據節點編號自增的方式從各所述原緩存數據分片中讀取數據，并判斷讀取到的數據是否為所述待遷移數據；

在判斷結果為是時，將該所述待遷移數據依照所述遷移方向遷移至對應的所述目標緩存數據分片，直至讀取到的數據對應的所述數據節點編號為所述原緩存數據分片的最大數據節點編號。

5.根據權利要求3所述的數據遷移方法，其特征在于，所述以所述第二遷移步長為單位，對所述原緩存數據分片在所述全量遷移過程中新增的待遷移數據進行增量遷移，包括：

以所述第二遷移步長為單位，從所述第二復制偏移量處開始，將所述原緩存數據分片在所述全量遷移過程中新增的所述待遷移數據遷移至對應的所述目標緩存數據分片。

6.根據權利要求3所述的數據遷移方法，其特征在于，所述對所述原緩存數據分片中的所述待遷移數據進行全量遷移；

所述對所述原緩存數據分片在所述全量遷移過程中新增的待遷移數據進行增量遷移，包括：

向所述原緩存數據分片發送遷移通知，以使所述原緩存數據分片將所述待遷移數據的信息發送至所述目標緩存數據分片，并將所述待遷移數據的狀態設置為遷移中；

所述目標緩存數據分片在接收到所述待遷移數據的信息后，根據該所述信息對所述待遷移數據進行緩存，并返回遷移成功的消息至所述原緩存數據分片；

所述原緩存數據分片在接收到所述遷移成功的消息時，刪除所述待遷移數據并設置為遷移完成。

7.根據權利要求3所述的數據遷移方法，其特征在于，所述對所述原緩存數據分片在所述全量遷移過程中新增的待遷移數據進行增量遷移，直至所述第二復制偏移量與所述第一復制偏移量達到一致，包括：

對所述原緩存數據分片在所述全量遷移過程中新增的所述待遷移數據進行增量遷移；

當所述第一復制偏移量與所述第二偏移量的差值達到設定閾值時，向所述原緩存數據分片發送只讀命令，繼續進行所述增量遷移，直至所述第二復制偏移量與所述第一復制偏移量達到一致。