[發明專利]一種數據遷移方法和裝置

在審

• 申請號: 202010399288.X
• 申請日: 2020-05-12
• 公開（公告）號: CN113660298A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 蒲騰飛
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/54;G06F3/06
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 王志遠;王安娜

本發明公開了一種數據遷移方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：計算第一存儲介質上存儲的待遷移數據的分堆信息，所述分堆信息指示了第一服務器將采集的一個或多個待遷移數據的數據標識；將所述分堆信息存儲至第一隊列，以使用所述第一服務器根據從所述第一隊列中獲取的數據標識從所述第一存儲介質中采集所述待遷移數據，并將所采集的數據存儲至第二隊列；使用一個或多個第二服務器從所述第二隊列中獲取數據并將所述數據存儲至第二存儲介質。該實施方式不僅實現了對待遷移數據的自動分堆，還實現了數據遷移過程中數據采集與數據存儲的解耦，提高了數據遷移效率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據遷移方法和裝置。

背景技術

隨著計算機技術的快速發展以及新舊技術的更迭，數據存儲方式也隨著技術的變更而不斷的升級，因而常需要考慮將原始數據遷移至新的存儲介質中或采用新的數據結構存儲數據。目前，常用的數據遷移方案主要包括以下步驟：掃描原始數據；將原始數據轉換為新的數據結構；將原始數據存儲至新的存儲介質。在數據遷移過程中，常僅采用一臺服務器進行數據遷移，或先人工對原始數據進行分堆然后再基于分堆數據采用多臺服務器進行數據遷移。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：僅采用一臺服務器進行數據遷移時，數據遷移速度慢、耗時長；而采用多臺服務器進行數據遷移時則依賴人工對遷移數據進行分堆，容易造成分堆不均勻，導致服務器資源浪費；此外，無論采用一臺還是多臺服務器進行數據遷移，均無法在數據遷移過程中動態調整數據遷移速率。

發明內容

有鑒于此，本發明實施例提供了一種數據遷移方法和裝置，不僅能夠自動基于服務器數量和數據規模對待遷移數據進行分堆，還可以在數據遷移過程中動態調整數據遷移速率。

為實現上述目的，根據本發明實施例的一個方面，提供了一種數據遷移方法，包括：

計算第一存儲介質上存儲的待遷移數據的分堆信息，所述分堆信息指示了第一服務器將采集的一個或多個待遷移數據的數據標識；

將所述分堆信息存儲至第一隊列，以使用所述第一服務器根據從所述第一隊列中獲取的數據標識從所述第一存儲介質中采集所述待遷移數據，并將所采集的數據存儲至第二隊列；

使用一個或多個第二服務器從所述第二隊列中獲取數據并將所述數據存儲至第二存儲介質。

可選地，根據所述待遷移數據的數量以及所述第一服務器的數量，計算所述待遷移數據對應的分堆信息。

可選地，所述根據所述待遷移數據的數量以及所述第一服務器的數量，計算所述待遷移數據對應的分堆信息，包括：

計算所述待遷移數據的數量與所述第一服務器的數量的商以獲取分堆大小，所述分堆大小指示了所述第一服務器將采集的待遷移數據的數量；

根據所述分堆大小，確定所述第一服務器將采集的待遷移數據對應的最大數據標識、最小數據標識。

可選地，還包括：

判斷所述待遷移數據的數量是否大于所述分堆大小與所述第一服務器的數量之積；

在所述待遷移數據的數量大于所述分堆大小與所述第一服務器的數量之積的情況下，增加所述第一服務器的數量。

可選地，所述使用所述第一服務器根據從所述第一隊列中獲取的數據標識從所述第一存儲介質中采集所述待遷移數據，并將所采集的數據存儲至第二隊列，包括：

使用所述第一服務器從所述第一隊列中獲取所述分堆大小及所述第一服務器將采集的待遷移數據對應的最大數據標識、最小數據標識；

遍歷所述待遷移數據，以根據所述分堆大小及所述最大數據標識、最小數據標識，從所述第一存儲介質中采集所述待遷移數據；