[發(fā)明專利]一種數(shù)據(jù)遷移方法及裝置

有效

• 申請?zhí)枺?/td>: 201810791979.7
• 申請日: 2018-07-18
• 公開（公告）號: CN109271098B
• 公開（公告）日: 2021-03-23
• 發(fā)明（設(shè)計(jì)）人: 王英
• 申請（專利權(quán)）人: 成都華為技術(shù)有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 馮艷蓮

一種數(shù)據(jù)遷移方法及裝置，該方法包括：在第二節(jié)點(diǎn)向第一節(jié)點(diǎn)遷移數(shù)據(jù)的過程中，該第一節(jié)點(diǎn)從該第二節(jié)點(diǎn)讀取待遷移的數(shù)據(jù)、該待遷移的數(shù)據(jù)的版本號以及從至少一個第三節(jié)點(diǎn)中讀取與該待遷移的數(shù)據(jù)屬于同一個第一業(yè)務(wù)的數(shù)據(jù)的版本號，該第一業(yè)務(wù)的數(shù)據(jù)分布存儲在該第二節(jié)點(diǎn)和至少一個該第三節(jié)點(diǎn)中；然后，在該第一節(jié)點(diǎn)確定從該第二節(jié)點(diǎn)讀取的待遷移的數(shù)據(jù)的版本號與從任意一個該第三節(jié)點(diǎn)讀取的數(shù)據(jù)的版本號不同時，該第一節(jié)點(diǎn)丟棄從該第二節(jié)點(diǎn)讀取的待遷移的數(shù)據(jù)。這樣，在數(shù)據(jù)遷移時，通過比較待遷移的數(shù)據(jù)的版本號與其他節(jié)點(diǎn)中與待遷移的數(shù)據(jù)屬于同一業(yè)務(wù)的數(shù)據(jù)的版本號，過濾掉要刪除數(shù)據(jù)，可以減少無效遷移和后續(xù)刪除IO資源的浪費(fèi)。

技術(shù)領(lǐng)域

本申請涉及存儲技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)遷移方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)用戶的激增以及業(yè)務(wù)的多樣性發(fā)展，越來越多的數(shù)據(jù)(例如，用戶數(shù)據(jù)、業(yè)務(wù)配置數(shù)據(jù)等)需要使用存儲系統(tǒng)進(jìn)行存儲，以便用來分析和指導(dǎo)業(yè)務(wù)。集群存儲系統(tǒng)因?yàn)槠淙萘枯^大以及易于擴(kuò)展的特點(diǎn)，在數(shù)據(jù)存儲中應(yīng)用廣泛。

請參考圖1A，為集群存儲系統(tǒng)中的一種架構(gòu)。在圖1中，集群存儲系統(tǒng)中部署管理節(jié)點(diǎn)A以及3個存儲節(jié)點(diǎn)，分別標(biāo)記為Node1、Node2和Node3。集群存儲系統(tǒng)中設(shè)置多個分布式邏輯存儲單元(net logic unit number，NLUN)，例如，在該集群存儲系統(tǒng)中可以設(shè)置NLUN1和NLUN2，每個NLUN用于存儲特定的數(shù)據(jù)，例如，NLUN1用于存儲視頻數(shù)據(jù)，NLUN2用于存儲文本數(shù)據(jù)，管理節(jié)點(diǎn)A用于管理和維護(hù)每個NLUN的成員盤以及每個成員盤中的數(shù)據(jù)，這樣，當(dāng)集群存儲系統(tǒng)接收待存儲的數(shù)據(jù)后，由管理節(jié)點(diǎn)A根據(jù)待存儲的數(shù)據(jù)的類型判斷將待存儲的數(shù)據(jù)存儲在NLUN1還是NLUN2中。針對每一個NLUN，可以在每個存儲節(jié)點(diǎn)中選擇若干個磁盤作為該NLUN的成員盤，從而與該NLUN對應(yīng)的數(shù)據(jù)全部存儲在該NLUN的成員盤中。例如，從每個存儲節(jié)點(diǎn)中選擇2個磁盤作為NLUN1的成員盤，在Node1節(jié)點(diǎn)中的成員盤標(biāo)記為盤1和盤2，在Node2節(jié)點(diǎn)中的成員盤標(biāo)記為盤3和盤4，在Node3節(jié)點(diǎn)中的成員盤標(biāo)記為盤5和盤6，從而得到NLUN1的成員盤的集合為{1,2,3,4,5,6}。

當(dāng)集群存儲系統(tǒng)擴(kuò)容后，如圖1B所示，在集群存儲系統(tǒng)中新增一個存儲節(jié)點(diǎn)，標(biāo)記為Node4，管理節(jié)點(diǎn)A會將其中一個或多個NLUN的某一個成員盤替換為Node4中的一個磁盤，例如，管理節(jié)點(diǎn)A將NLUN1在Node3中的磁盤6替換為Node4中的磁盤7，從而，NLUN1的成員盤的集合變?yōu)閧1,2,3,4,5,7}。然后，管理節(jié)點(diǎn)A指示Node4將源磁盤中的數(shù)據(jù)遷移到目標(biāo)磁盤中，例如，將磁盤6中的數(shù)據(jù)遷移到磁盤7中。

由于數(shù)據(jù)遷移過程對用戶是透明的，用戶并不知道當(dāng)前NLUN1正處于數(shù)據(jù)遷移過程，因此，在NLUN1進(jìn)行數(shù)據(jù)遷移時，有可能會接收用戶下發(fā)的數(shù)據(jù)刪除指令。在這種情況下，若要刪除的數(shù)據(jù)還沒有從磁盤6遷移到磁盤7，則Node4在接收到該刪除指令后，確定磁盤7并未發(fā)現(xiàn)要刪除的數(shù)據(jù)，確定該數(shù)據(jù)刪除指令執(zhí)行完成。在Node4確定該數(shù)據(jù)刪除指令執(zhí)行完成后，磁盤6和磁盤7之間完成了數(shù)據(jù)遷移，從而要刪除的數(shù)據(jù)又存儲在磁盤7中，從而造成數(shù)據(jù)殘留。

在現(xiàn)有技術(shù)中，為了解決數(shù)據(jù)殘留問題，當(dāng)Node4接收到該數(shù)據(jù)刪除指令后，會在Node4的刪除日志中記錄該數(shù)據(jù)刪除指令，當(dāng)完成數(shù)據(jù)遷移后，Node4回放該數(shù)據(jù)刪除指令，從而將殘留的數(shù)據(jù)刪除。

可見，在上述方案中，要刪除的數(shù)據(jù)首先從源磁盤遷移到目標(biāo)磁盤，在遷移到目標(biāo)磁盤后，再將該數(shù)據(jù)刪除。該過程中需要浪費(fèi)一次讀數(shù)據(jù)的輸入輸出接口資源，一次寫數(shù)據(jù)的輸入輸出接口資源和一次刪除數(shù)據(jù)的輸入輸出接口資源，資源浪費(fèi)較大。

發(fā)明內(nèi)容

本申請實(shí)施例提供一種數(shù)據(jù)遷移方法及裝置，用于減少在數(shù)據(jù)遷移過程中對數(shù)據(jù)進(jìn)行刪除時所消耗的資源。