[發明專利]數據遷移方法及裝置、存儲介質及電子設備

在審

• 申請號: 202010053359.0
• 申請日: 2020-01-17
• 公開（公告）號: CN113138972A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 陳俊偉;林金明;王洋;金薇薇;仇路;李鑫
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝;闞梓瑄

本公開提供一種數據遷移方法及裝置、計算機可讀存儲介質及電子設備；涉及數據管理技術領域。所述數據遷移方法包括：接收數據遷移指令；確定緩存數據集群中現有的各原緩存數據分片與新部署的各目標緩存數據分片之間的數據遷移方向；依據所述數據遷移指令，將所述原緩存數據分片中的待遷移數據依據所述數據遷移方向遷移至所述目標緩存數據分片，并在所述原緩存數據分片中維護遷移狀態；將所述遷移狀態中記錄的遷移結果發送至遷移管理模塊。本公開可以實現在不停服的前提下，通過數據遷移對緩存系統進行擴容，該遷移過程優化了對待遷移數據狀態的管理，且遷移可以從中斷處再次開始，使得數據遷移過程更加便捷高效。

技術領域

本公開涉及數據管理技術領域，具體而言，涉及一種數據遷移方法、、數據遷移裝置、電子設備以及計算機可讀存儲介質。

背景技術

為了解決傳統開發模式中采用關系型數據庫存儲數據的弊端，利用緩存對熱點數據進行存儲的方法應運而生，緩存的高性能可以提供高吞吐和低延遲的數據訪問。但隨著移動互聯網用戶數量的增加，單機的緩存逐漸滿足不了用戶對海量數據進行存儲和訪問的需求，人們開始使用分布式緩存系統來對數據進行存儲，從而可以利用服務器集群的計算能力來滿足用戶的海量并發請求。而對于一個分布式緩存系統而言，最重要的能力就是擴容能力，分布式緩存系統可以通過部署新的存儲空間資源，并將一部分數據從原有的存儲空間遷移至新部署的存儲空間中來實現。因此，擴容過程實質上即為對系統中的部分數據進行數據遷移的的過程。

現有對分布式緩存系統進行擴容方案主要有以下三種：停機擴容、鏡像平滑擴容以及槽位遷移。這三種方案雖然在一定程度上可以實現對分布式緩存系統進行擴容的功能，但同時也存在操作復雜、需要數據鏡像、影響到業務方訪問數據、擴容過程和業務方高度耦合、對于現有的分布式緩存系統不具有普適性等一系列問題。

因此需要提供一種與業務系統低耦合的便捷高效的數據遷移方法，以實現對分布式緩存系統進行擴容的功能。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開實施例提供一種數據遷移方法、數據遷移裝置、電子設備以及計算機可讀存儲介質，進而可以在實現對分布式緩存系統進行擴容功能的同時，解決擴容過程中存在的操作復雜、需要數據鏡像、影響到業務方訪問數據、擴容過程和業務方高度耦合、對于現有的分布式緩存系統不具有普適性等一系列問題。

根據本公開的第一方面，提供一種數據遷移方法，包括：

接收數據遷移指令；

確定緩存數據集群中現有的各原緩存數據分片與新部署的各目標緩存數據分片之間的數據遷移方向；

依據所述數據遷移指令，將所述原緩存數據分片中的待遷移數據依據所述數據遷移方向遷移至所述目標緩存數據分片，并在所述原緩存數據分片中維護遷移狀態；

將所述遷移狀態中記錄的遷移結果發送至管理模塊。

在本公開的一種示例性實施例中，所述確定緩存數據集群中現有的各原緩存數據分片與新部署的各目標緩存數據分片之間的數據遷移方向，包括：

確定各所述目標緩存數據分片在所述緩存數據集群對應的一致性哈希環中的節點位置；

依據所述節點位置確定所述數據遷移方向。

在本公開的一種示例性實施例中，所述數據遷移指令包括第一遷移步長及第二遷移步長；

所述將所述原緩存數據分片中的待遷移數據依據所述數據遷移方向遷移至所述目標緩存數據分片，并在所述原緩存數據分片中維護遷移狀態，包括：

初始化一個遷移狀態文件來維護所述遷移狀態，其中，所述遷移狀態包含第一復制偏移量及第二復制偏移量；