[發明專利]一種海量文件的存儲方法和裝置

有效

• 申請號: 201410709125.1
• 申請日: 2014-11-27
• 公開（公告）號: CN104331518B
• 公開（公告）日: 2017-12-29
• 發明（設計）人: 楊勇;辛國茂;趙仁明;亓開元
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 王丹,李丹

1.一種海量文件的存儲方法，其特征在于，包括：

在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據；

當所述待存儲文件中的數據存儲成功后，使用根據關系數據庫創建的文件索引表存儲所述待存儲文件的索引信息；

其中，所述在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據包括：

將使用JAVA語言編寫的用于調用所述HDFS存儲數據的程序通過所述IKVM.NET轉換為所述.NET平臺架構下對應的程序，執行所述對應的程序以在所述.NET平臺架構下調用所述HDFS存儲所述待存儲文件中的數據；

其中，所述將使用JAVA語言編寫的用于調用所述HDFS存儲數據的程序通過所述IKVM.NET轉換為所述.NET平臺架構下對應的程序，包括采用IKVM.NET的工具先將JAVA程序編譯后得到的class文件、JAR文件編譯為.NET平臺的通用中間語言CIL程序集，在.NET平臺上運行所述CIL程序集，從而在基于.NET平臺開發時直接使用JAVA的API。

2.根據權利要求1所述的方法，其特征在于，所述待存儲文件的索引信息包括以下中的至少一種：所述待存儲文件的文件名、所述待存儲文件的文件大小、所述待存儲文件的生成時間。

3.根據權利要求1至2任一項所述的方法，其特征在于，所述方法還包括：

定時檢查所述文件索引表中存儲的索引信息與所述HDFS中存儲的數據的對應關系，若檢查到有匹配不上所述HDFS中存儲的數據的無效索引信息，則將所述無效索引信息移到預設的錯誤記錄表中。

4.根據權利要求1至2任一項所述的方法，其特征在于，所述方法還包括：

當對所述HDFS中存儲的數據進行操作時，根據所述操作的結果對所述文件索引表中所述數據對應的索引信息進行更新。

5.一種海量文件的存儲裝置，其特征在于，包括：

第一存儲單元，用于在.NET平臺架構下通過JAVA虛擬機IKVM.NET調用海杜普分布式文件系統HDFS存儲待存儲文件中的數據；

第二存儲單元，用于當所述待存儲文件中的數據存儲成功后，使用根據關系數據庫創建的文件索引表存儲所述待存儲文件的索引信息；

其中，所述第一存儲單元具體用于：

將使用JAVA語言編寫的用于調用所述HDFS存儲數據的程序通過所述IKVM.NET轉換為所述.NET平臺架構下對應的程序，執行所述對應的程序以在所述.NET平臺架構下調用所述HDFS存儲所述待存儲文件中的數據；

其中，所述將使用JAVA語言編寫的用于調用所述HDFS存儲數據的程序通過所述IKVM.NET轉換為所述.NET平臺架構下對應的程序，包括采用IKVM.NET的工具先將JAVA程序編譯后得到的class文件、JAR文件編譯為.NET平臺的通用中間語言CIL程序集，在.NET平臺上運行所述CIL程序集，從而在基于.NET平臺開發時直接使用JAVA的API。

6.根據權利要求5所述的裝置，其特征在于，所述待存儲文件的索引信息包括以下中的至少一種：所述待存儲文件的文件名、所述待存儲文件的文件大小、所述待存儲文件的生成時間。

7.根據權利要求5至6任一項所述的裝置，其特征在于，所述裝置還包括：

檢查單元，用于定時檢查所述文件索引表中存儲的索引信息與所述HDFS中存儲的數據的對應關系，若檢查到有匹配不上所述HDFS中存儲的數據的無效索引信息，則將所述無效索引信息移到預設的錯誤記錄表中。

8.根據權利要求5至6任一項所述的裝置，其特征在于，所述裝置還包括：

更新單元，用于當對所述HDFS中存儲的數據進行操作時，根據所述操作的結果對所述文件索引表中所述數據對應的索引信息進行更新。