[發(fā)明專利]一種數(shù)據(jù)遷移方法、系統(tǒng)、設(shè)備及計算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011566382.6
• 申請日: 2020-12-25
• 公開（公告）號: CN112684982A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設(shè)計）人: 劉洋
• 申請（專利權(quán)）人: 北京浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/50
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 豆貝貝

本申請公開了一種數(shù)據(jù)遷移方法、系統(tǒng)、設(shè)備及計算機(jī)可讀存儲介質(zhì)，應(yīng)用于HDFS，基于掃描線程在目標(biāo)文件夾中掃描出滿足預(yù)設(shè)傳輸規(guī)則的目標(biāo)文件，獲取目標(biāo)文件的目標(biāo)校驗信息，并將目標(biāo)文件加入至傳輸隊列；基于傳輸線程向Yarn傳輸傳輸隊列中的目標(biāo)文件，并將目標(biāo)文件加入至任務(wù)隊列；基于監(jiān)控線程判斷任務(wù)隊列中的目標(biāo)文件是否傳輸成功，若是，則將目標(biāo)文件加入至校驗隊列；基于校驗線程及目標(biāo)校驗信息對校驗隊列中的目標(biāo)文件進(jìn)行校驗，若校驗通過，則完成目標(biāo)文件的遷移。本申請中，HDFS可以借助掃描線程、傳輸線程、監(jiān)控線程及校驗線程自動將目標(biāo)文件遷移，并且可以保證目標(biāo)文件的完整性遷移，遷移效率及準(zhǔn)確性高，適用性好。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)遷移技術(shù)領(lǐng)域，更具體地說，涉及一種數(shù)據(jù)遷移方法、系統(tǒng)、設(shè)備及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

隨著大數(shù)據(jù)時代的到來及數(shù)據(jù)量的激增，HDFS(Hadoop Distributed FileSystem，Hadoop分布式文件系統(tǒng))應(yīng)用越來越廣，海量數(shù)據(jù)存儲在HDFS系統(tǒng)中。但隨著業(yè)務(wù)的擴(kuò)展或數(shù)據(jù)量的增加，原有的HDFS系統(tǒng)面臨升級、擴(kuò)容等問題，這時需要進(jìn)行HDFS數(shù)據(jù)遷移。比如使用DistCp(Distributed Copy，分布式拷貝)命令進(jìn)行HDFS系統(tǒng)間的數(shù)據(jù)遷移。

雖然DistCp利用Map/Reduce技術(shù)將文件傳輸任務(wù)提交到Y(jié)arn上，具有較高的效率和容錯性，但需要用戶手動執(zhí)行DistCp命令，且不能正確傳輸所需傳輸?shù)臄?shù)據(jù)，適用性差。

綜上所述，如何提高HDFS中數(shù)據(jù)遷移的適用性是目前本領(lǐng)域技術(shù)人員亟待解決的問題。

發(fā)明內(nèi)容

本申請的目的是提供一種數(shù)據(jù)遷移方法，其能在一定程度上解決如何提高HDFS中數(shù)據(jù)遷移的適用性的技術(shù)問題。本申請還提供了一種數(shù)據(jù)遷移系統(tǒng)、設(shè)備及計算機(jī)可讀存儲介質(zhì)。

為了實現(xiàn)上述目的，本申請?zhí)峁┤缦录夹g(shù)方案：

一種數(shù)據(jù)遷移方法，應(yīng)用于HDFS，包括：

基于掃描線程在目標(biāo)文件夾中掃描出滿足預(yù)設(shè)傳輸規(guī)則的目標(biāo)文件，獲取所述目標(biāo)文件的目標(biāo)校驗信息，并將所述目標(biāo)文件加入至傳輸隊列；

基于傳輸線程向Yarn傳輸所述傳輸隊列中的所述目標(biāo)文件，并將所述目標(biāo)文件加入至任務(wù)隊列；

基于監(jiān)控線程判斷所述任務(wù)隊列中的所述目標(biāo)文件是否傳輸成功，若是，則將所述目標(biāo)文件加入至校驗隊列；

基于校驗線程及所述目標(biāo)校驗信息對所述校驗隊列中的所述目標(biāo)文件進(jìn)行校驗，若校驗通過，則完成所述目標(biāo)文件的遷移。

優(yōu)選的，所述獲取所述目標(biāo)文件的校驗信息，包括：

判斷所述目標(biāo)文件是否在已掃描文件列表中；

若所述目標(biāo)文件不在所述已掃描文件列表中，則將所述目標(biāo)文件添加至所述已掃描文件列表中，并執(zhí)行所述獲取所述目標(biāo)文件的校驗信息的步驟。

優(yōu)選的，所述基于校驗線程及所述目標(biāo)校驗信息對所述校驗隊列中的所述目標(biāo)文件進(jìn)行校驗，包括：

獲取所述Yarn接收的所述目標(biāo)文件的實時校驗信息；

判斷所述實時校驗信息與所述目標(biāo)校驗信息是否一致；

若所述實時校驗信息與所述目標(biāo)校驗信息一致，則校驗通過；

若所述實時校驗信息與所述目標(biāo)校驗信息不一致，則校驗未通過。

優(yōu)選的，所述基于監(jiān)控線程判斷所述任務(wù)隊列中的所述目標(biāo)文件是否傳輸成功之后，還包括：

若傳輸失敗，則將所述目標(biāo)文件添加至任務(wù)失敗隊列中。

優(yōu)選的，將所述目標(biāo)文件添加至任務(wù)失敗隊列中之后，還包括：