[發明專利]一種HDFS中大數據遷移完整性驗證的方法

在審

• 申請號: 201410212726.1
• 申請日: 2014-05-20
• 公開（公告）號: CN103971066A
• 公開（公告）日: 2014-08-06
• 發明（設計）人: 趙仁明;辛國茂;亓開元;房體盈
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F21/64
• 分類號: G06F21/64
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種HDFS中大數據遷移完整性驗證的方法，其特征在于其具體實現過程如下：

1)獲取原始HDFS文件及目錄結構詳細信息和遷移后的新HDFS文件信息；

2)對原始文件信息以及新文件信息分片處理；

3)輸出新舊文件信息的對比驗證和驗證結果。

2.根據權利要求1所述的一種HDFS中大數據遷移完整性驗證的方法，其特征在于：所述步驟1）的詳細過程為：

在原始的HDFS文件系統中通過執行hadoop fs –lsr / > oldInfo命令，獲取原始HDFS文件的詳細信息，并將結果重定向到oldInfo文件中；

在遷移后新的HDFS文件系統中，通過執行相同的命令hadoop fs –lsr / >newInfo，獲取新的HDFS文件信息，并將結果重定向到newInfo文件中。

3.根據權利要求1或2所述的一種HDFS中大數據遷移完整性驗證的方法，其特征在于：所述步驟2）的詳細過程為：將原始文件信息oldInfo和新文件信息newInfo按相同的規則進行分片，這里的規則是指按照行數分割成相同的文件數。

4.根據權利要求3所述的一種HDFS中大數據遷移完整性驗證的方法，其特征在于：所述步驟3）的詳細過程為：通過將分片后的新舊HDFS文件信息進行對應的逐個對比，將對比后的結果保存在日志文件中，這里的對比是指對比文件或文件夾的名字，以及文件的大小是否相匹配。

5.根據權利要求4所述的一種HDFS中大數據遷移完整性驗證的方法，其特征在于：所述匹配過程為：

一、用舊的文件信息為基準，逐條匹配新的文件信息；

二、若完全匹配，則取舊文件信息的下一條繼續步驟二過程的匹配；

三、若文件大小未能完全匹配上，代表該文件遷移不完整，將文件信息記錄至日志文件后，繼續步驟二；

四、若文件信息為找到，代表該文件未被遷移至新文件系統，將文件信息記錄至日志文件后，繼續步驟二；

五、當所有的舊文件信息全都被提取過一遍之后，本次完整性驗證結束。