[發(fā)明專利]數(shù)據(jù)遷移方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010025782.X
• 申請日: 2020-01-10
• 公開（公告）號: CN111258954A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設(shè)計）人: 焦如松;田勇
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張娜;劉芳

本申請公開了數(shù)據(jù)遷移方法、裝置、設(shè)備及存儲介質(zhì)，涉及數(shù)據(jù)遷移技術(shù)領(lǐng)域。具體實現(xiàn)方案為：通過對待遷移數(shù)據(jù)進(jìn)行校驗，獲取第一校驗信息；在目標(biāo)目錄中對待遷移數(shù)據(jù)創(chuàng)建硬鏈接，得到待遷移數(shù)據(jù)的新目錄項；根據(jù)目標(biāo)目錄中的新目錄項對應(yīng)數(shù)據(jù)，獲取第二校驗信息；對第一校驗信息和第二校驗信息校驗新目錄項對應(yīng)數(shù)據(jù)是否與待遷移數(shù)據(jù)一致，若一致，則清理待遷移數(shù)據(jù)在遷移前的源目錄項。本申請實施例通過創(chuàng)建硬鏈接的方式實現(xiàn)單機上的數(shù)據(jù)遷移，數(shù)據(jù)遷移過程中不需要調(diào)用數(shù)據(jù)系統(tǒng)的移動接口，數(shù)據(jù)遷移過程簡單高效、且安全可靠，降低數(shù)據(jù)遷移過程的風(fēng)險。此外，數(shù)據(jù)遷移過程可重入、可回滾、可異步，且適用于大量文件的遷移，具有較高的安全性。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，尤其涉及數(shù)據(jù)遷移技術(shù)領(lǐng)域。

背景技術(shù)

服務(wù)在容器內(nèi)運行越來越成為主流，分布式存儲系統(tǒng)也不例外。但對于已經(jīng)保存海量數(shù)據(jù)的物理機存量存儲服務(wù)，需要考慮可用性、穩(wěn)定性、用戶無感等，切換過程較為復(fù)雜。這個時候，單機原地從物理機運行模式切換至容器內(nèi)運行往往更加高效(避免數(shù)據(jù)的跨網(wǎng)絡(luò)移動)。而存儲系統(tǒng)作為有狀態(tài)服務(wù)，這個單機切換過程通常要：服務(wù)的遷移以及服務(wù)狀態(tài)(數(shù)據(jù))的遷移。對于服務(wù)的遷移，通常需要進(jìn)行物理機和容器模式服務(wù)進(jìn)程的啟停操作；而對于服務(wù)狀態(tài)(數(shù)據(jù))的遷移，通常需要在單機范圍內(nèi)移動數(shù)據(jù)。對于擁有眾多節(jié)點的集群而言，通常會有一個中心協(xié)調(diào)者，利用rpc(Remote Procedure Call，遠(yuǎn)程過程調(diào)用)命令來調(diào)度單機切換任務(wù)。單機切換過程中，單機數(shù)據(jù)遷移涉及眾多數(shù)據(jù)，是重中之重。這就對單機數(shù)據(jù)遷移提出了一些要求：

集群中涉及大量線上數(shù)據(jù)節(jié)點，需要單機遷移過程可以緊急回滾；單個數(shù)據(jù)節(jié)點中涉及大量用戶數(shù)據(jù)，需要數(shù)據(jù)遷移安全可靠；單點遷移可能存在失敗，遷移過程需要可重入；中心協(xié)調(diào)者和數(shù)據(jù)節(jié)點通過遠(yuǎn)程rpc通信，有概率出現(xiàn)網(wǎng)絡(luò)抖動，同步阻塞調(diào)用很容易出現(xiàn)失敗，另一方面，協(xié)調(diào)者往往需要操作眾多的節(jié)點，故需要支持異步模式。

現(xiàn)有技術(shù)中對于單機上的數(shù)據(jù)遷移，通常會調(diào)用文件系統(tǒng)的移動接口，進(jìn)行數(shù)據(jù)移動操作。現(xiàn)有的數(shù)據(jù)遷移方法安全性較低，且遷移效率不高，在需要遷移大量文件時操作線上數(shù)據(jù)的風(fēng)險系數(shù)較高。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N數(shù)據(jù)遷移方法、裝置、設(shè)備及存儲介質(zhì)，以提高單機上數(shù)據(jù)遷移過程的安全性和遷移效率。

本申請第一個方面提供一種數(shù)據(jù)遷移方法，包括：

對待遷移數(shù)據(jù)進(jìn)行校驗，獲取第一校驗信息；

在目標(biāo)目錄中對所述待遷移數(shù)據(jù)創(chuàng)建硬鏈接，得到所述待遷移數(shù)據(jù)的新目錄項；

根據(jù)所述目標(biāo)目錄中的新目錄項對應(yīng)數(shù)據(jù)，獲取第二校驗信息；對所述第一校驗信息和所述第二校驗信息校驗所述新目錄項對應(yīng)數(shù)據(jù)是否與所述待遷移數(shù)據(jù)一致；

若所述新目錄項對應(yīng)數(shù)據(jù)與所述待遷移數(shù)據(jù)一致，則清理所述待遷移數(shù)據(jù)在遷移前的源目錄項。

本實施例中通過創(chuàng)建硬鏈接的方式實現(xiàn)單機上的數(shù)據(jù)遷移，數(shù)據(jù)遷移過程中不需要調(diào)用數(shù)據(jù)系統(tǒng)的移動接口，數(shù)據(jù)遷移過程簡單高效、且安全可靠，降低數(shù)據(jù)遷移過程的風(fēng)險。

在一種可能的設(shè)計中，所述第一校驗信息包括所述待遷移數(shù)據(jù)遷移前的存儲結(jié)構(gòu)和/或校驗碼，其中所述校驗碼為遷移前的源目錄項對應(yīng)的索引節(jié)點號或通過校驗算法對待遷移數(shù)據(jù)獲取的校驗碼；

所述第二校驗信息包括所述待遷移數(shù)據(jù)遷移后的存儲結(jié)構(gòu)和/或校驗碼，所述校驗碼為新目錄項對應(yīng)的索引節(jié)點號或通過校驗算法對所述新目錄項對應(yīng)數(shù)據(jù)獲取的校驗碼；

所述對所述第一校驗信息和所述第二校驗信息校驗所述新目錄項對應(yīng)數(shù)據(jù)是否與所述待遷移數(shù)據(jù)一致，包括：

對比所述第一校驗信息與所述第二校驗信息是否相同。

在一種可能的設(shè)計中，所述對待遷移數(shù)據(jù)進(jìn)行校驗前，還包括：