[發明專利]一種HDFS中大數據遷移完整性驗證的方法

在審

• 申請號: 201410212726.1
• 申請日: 2014-05-20
• 公開（公告）號: CN103971066A
• 公開（公告）日: 2014-08-06
• 發明（設計）人: 趙仁明;辛國茂;亓開元;房體盈
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F21/64
• 分類號: G06F21/64
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及計算機技術領域，具體的說是一種HDFS中大數據遷移完整性驗證的方法。

背景技術

大數據(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。

Hadoop Distributed File System（HDFS）被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。運行在HDFS之上的程序有很大量的數據集。典型的HDFS文件大小是TB的級別。所以，HDFS被調整成支持大文件。它應該提供很高的聚合數據帶寬，一個集群中支持數百個節點，一個集群中還應該支持千萬級別的文件。HDFS被設計成可以簡便地實現平臺間的遷移，這將推動需要大數據集的應用更廣泛地采用HDFS作為平臺。

本技術提供了一種簡便宜行的驗證HDFS數據遷移之后數據完整性的方法，可以使管理員迅速、方便的驗證遷移后數據是否完整、有效，并將驗證結果記錄到日志文件中。

發明內容

本發明的技術任務是解決現有技術的不足，提供一種HDFS中大數據遷移完整性驗證的方法。

本發明的技術方案是按以下方式實現的，該一種HDFS中大數據遷移完整性驗證的方法，其具體實現過程如下：

1)獲取原始HDFS文件及目錄結構詳細信息和遷移后的新HDFS文件信息；

2)對原始文件信息以及新文件信息分片處理；

3)輸出新舊文件信息的對比驗證和驗證結果。

所述步驟1）的詳細過程為：

在原始的HDFS文件系統中通過執行hadoop fs –lsr / > oldInfo命令，獲取原始HDFS文件的詳細信息，并將結果重定向到oldInfo文件中；

在遷移后新的HDFS文件系統中，通過執行相同的命令hadoop fs –lsr / >newInfo，獲取新的HDFS文件信息，并將結果重定向到newInfo文件中。

所述步驟2）的詳細過程為：將原始文件信息oldInfo和新文件信息newInfo按相同的規則進行分片，這里的規則是指按照行數分割成相同的文件數。

所述步驟3）的詳細過程為：通過將分片后的新舊HDFS文件信息進行對應的逐個對比，將對比后的結果保存在日志文件中，這里的對比是指對比文件或文件夾的名字，以及文件的大小是否相匹配。

所述匹配過程為：

一、用舊的文件信息為基準，逐條匹配新的文件信息；

二、若完全匹配，則取舊文件信息的下一條繼續步驟二過程的匹配；

三、若文件大小未能完全匹配上，代表該文件遷移不完整，將文件信息記錄至日志文件后，繼續步驟二；

四、若文件信息為找到，代表該文件未被遷移至新文件系統，將文件信息記錄至日志文件后，繼續步驟二；

五、當所有的舊文件信息全都被提取過一遍之后，本次完整性驗證結束。

本發明與現有技術相比所產生的有益效果是：

本發明的一種HDFS中大數據遷移完整性驗證的方法是一種高效、快速且易實施操作的對HDFS中遷移出的數據完整性驗證的方法,最終實現利用該技術,高效、簡便的驗證遷移出的新數據的完整性，進一步減少了人工逐一進行數據驗證的工作量，且大大減少了編程的工作量；不需要進行程序的編譯、打包，只需要簡單的腳本即可完成驗證；更加突出大數據靈活、便捷的優勢，使得用戶可以非?？焖俸啽愕恼业娇赡艽嬖诘牟煌暾臄祿?；適用范圍廣泛，該方法適用于多種HDFS環境，實用性強，易于推廣。

附圖說明

附圖1為本發明的實現流程示意圖。

具體實施方式

下面結合附圖對本發明的一種HDFS中大數據遷移完整性驗證的方法作以下詳細說明。

如附圖1所示，現提供一種HDFS中大數據遷移完整性驗證的方法，該方法的具體思路是依次取出遷移之前的每個HDFS文件信息，在新的HDFS文件信息中搜索，若文件信息存在，且大小等信息符合。則繼續在遷移前的HDFS信息中取出下一條，繼續比較。如果在新的HDFS文件信息中沒找到或找到后文件大小不相符，則代表該條數據未被成功遷移。

其具體實現過程如下：

一、原始HDFS文件及目錄結構詳細信息和遷移后的新HDFS文件信息的獲取。