[發明專利]一種數據遷移方法和裝置

在審

• 申請號: 202010399288.X
• 申請日: 2020-05-12
• 公開（公告）號: CN113660298A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 蒲騰飛
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/54;G06F3/06
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 王志遠;王安娜

1.一種數據遷移方法，其特征在于，包括：

計算第一存儲介質上存儲的待遷移數據的分堆信息，所述分堆信息指示了第一服務器將采集的一個或多個待遷移數據的數據標識；

將所述分堆信息存儲至第一隊列，以使用所述第一服務器根據從所述第一隊列中獲取的數據標識從所述第一存儲介質中采集所述待遷移數據，并將所采集的數據存儲至第二隊列；

使用一個或多個第二服務器從所述第二隊列中獲取數據并將所述數據存儲至第二存儲介質。

2.根據權利要求1所述的數據遷移方法，其特征在于，

根據所述待遷移數據的數量以及所述第一服務器的數量，計算所述待遷移數據對應的分堆信息。

3.根據權利要求2所述的數據遷移方法，其特征在于，所述根據所述待遷移數據的數量以及所述第一服務器的數量，計算所述待遷移數據對應的分堆信息，包括：

計算所述待遷移數據的數量與所述第一服務器的數量的商以獲取分堆大小，所述分堆大小指示了所述第一服務器將采集的待遷移數據的數量；

根據所述分堆大小，確定所述第一服務器將采集的待遷移數據對應的最大數據標識、最小數據標識。

4.根據權利要求3所述的數據遷移方法，其特征在于，還包括：

判斷所述待遷移數據的數量是否大于所述分堆大小與所述第一服務器的數量之積；

在所述待遷移數據的數量大于所述分堆大小與所述第一服務器的數量之積的情況下，增加所述第一服務器的數量。

5.根據權利要求4所述的數據遷移方法，其特征在于，所述使用所述第一服務器根據從所述第一隊列中獲取的數據標識從所述第一存儲介質中采集所述待遷移數據，并將所采集的數據存儲至第二隊列，包括：

使用所述第一服務器從所述第一隊列中獲取所述分堆大小及所述第一服務器將采集的待遷移數據對應的最大數據標識、最小數據標識；

遍歷所述待遷移數據，以根據所述分堆大小及所述最大數據標識、最小數據標識，從所述第一存儲介質中采集所述待遷移數據；

將所采集的數據轉換為消息數據并推送至所述第二隊列。

6.根據權利要求1所述的數據遷移方法，其特征在于，

在將所述分堆信息存儲至第一隊列的情況下，廣播通知一個或多個所述第一服務器，以使所述第一服務器在接收到廣播通知的情況下從所述第一隊列中獲取所述待遷移數據的數據標識。

7.根據權利要求6所述的數據遷移方法，其特征在于，還包括：

在所述第一服務器接收到廣播通知的情況下，判斷所述第一服務器是否處于數據采集狀態，且僅在所述第一服務器不處于數據采集狀態的情況下使用所述第一服務器從所述第一隊列中獲取所述待遷移數據的數據標識。

8.根據權利要求1所述的數據遷移方法，其特征在于，還包括：

在使用一個或多個第二服務器從所述第二隊列中獲取到數據后，將獲取到的數據結構轉換為符合所述第二存儲介質的數據結構，以將數據存儲至所述第二存儲介質。

9.根據權利要求2所述的數據遷移方法，其特征在于，還包括：

基于所述第二隊列監控所述第一服務器的數據采集速率，以在所述數據采集速率低于閾值采集速率的情況下，增加所述第一服務器的數量并重新計算所述分堆信息。

10.根據權利要求9所述的數據遷移方法，其特征在于，還包括：

基于所述第二隊列監控所述第二服務器的數據存儲速率，以在所述數據存儲速率低于閾值存儲速率的情況下，增加所述第二服務器的數量。