[發明專利]一種數據存儲的方法及裝置

在審

• 申請號: 201410135689.9
• 申請日: 2014-04-04
• 公開（公告）號: CN104978330A
• 公開（公告）日: 2015-10-14
• 發明（設計）人: 伍勝;劉冬林;任應超;王剛;喬麗
• 申請（專利權）人: 西南大學;中國科學院遙感與數字地球研究所;北京中遙地網信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中譽威圣知識產權代理有限公司 11279
• 代理人: 郭振興;叢芳

1.一種數據存儲的方法，其特征在于，包括：

將待存儲的小數據文件打包生成存檔大數據文件；

在非解包狀態下，讀取所述存檔大數據文件中的每個小數據文件；

為所述存檔大數據文件創建索引庫，通過查詢所述索引庫調用所述小數據文件。

2.根據權利要求1所述的數據存儲的方法，其特征在于，所述為存檔大數據文件創建索引庫的步驟包括：

記錄每個所述小數據文件在所述存檔大數據文件中存儲的文件識別信息、存儲偏移量和數據長度；

對所述文件識別信息進行編碼生成所述小數據文件對應的鍵，將所述存儲偏移量和數據長度作為所述小數據文件對應的值并與所述小數據文件對應的鍵組成所述小數據文件對應的鍵值對；

將所述鍵值對寫入所述索引庫中。

3.根據權利要求2所述的數據存儲的方法，其特征在于，還包括：將所述索引庫合并成集群索引庫，通過查詢所述集群索引庫調用所述小數據文件;

所述將索引庫合并成集群索引庫的步驟包括：

指定集群索引庫中包含的索引庫；

讀取為所述存檔大數據文件創建的索引庫中的鍵值對進行重新構建，形成新的鍵值對；

將所述新的鍵值對寫入所述已指定的索引庫，合并成所述集群索引庫。

4.根據權利要求3所述的數據存儲的方法，其特征在于，所述指定集群索引庫中包含的索引庫的步驟還包括對所述索引庫進行排序；

所述將新的鍵值對寫入已指定的索引庫的步驟還包括：將所述新的鍵值對通過哈希算法寫入指定集群索引庫中進行排序的索引庫。

5.根據權利要求4所述的數據存儲的方法，其特征在于，所述將新的鍵值對通過哈希算法寫入指定集群索引庫中進行排序的索引庫的步驟包括：

從所述新的鍵值對中提取出鍵，并對所述鍵作哈希計算，生成一個整數；根據所述整數與所述集群索引庫中的索引庫的總數生成新的鍵值對在所述已排序的索引庫中的序號。

6.根據權利要求3-5中任一項所述的數據存儲的方法，其特征在于，所述讀取為所述存檔大數據文件創建的索引庫中的鍵值對進行重新構建的步驟包括：

保持所述鍵不變，將所述值變為：存檔大數據文件id編號+存儲偏移量+數據長度；

所述存檔大數據文件id編號為對應所述存檔大數據文件路徑的一個編號。

7.根據權利要求2所述的數據存儲的方法，其特征在于，所述文件識別信息包括：文件名和文件路徑。

8.一種數據存儲的裝置，其特征在于，包括：

存儲模塊，用于將待存儲的小數據文件打包生成存檔大數據文件；

訪問模塊，用于在非解包狀態下讀取所述存檔大數據文件中的每個小數據文件；

索引創建模塊，用于為所述存檔大數據文件創建索引庫；

索引查詢模塊，用于通過查詢所述索引庫調用所述小數據文件。

9.根據權利要求8所述的數據存儲的裝置，其特征在于，所述索引創建模塊包括：

記錄子模塊，用于記錄每個所述小數據文件在所述存檔大數據文件中存儲的文件識別信息、存儲偏移量和數據長度；

編碼子模塊，用于對所述文件識別信息進行編碼生成所述小數據文件對應的鍵，將所述偏移量和數據長度作為所述小數據文件對應的值并與所述小數據文件對應的鍵組成所述小數據文件對應的鍵值對；

寫入子模塊，用于將所述鍵值對寫入所述索引庫中。

10.根據權利要求9所述的數據存儲的裝置，其特征在于，還包括：

合并查詢模塊，用于將所述索引庫合并成集群索引庫，通過查詢所述集群索引庫調用所述小數據文件；

所述合并查詢模塊包括：

指定子模塊，用于指定集群索引庫中包含的索引庫;

構建子模塊，用于讀取為所述存檔大數據文件創建的索引庫中的鍵值對進行重新構建，形成新的鍵值對；

寫入子模塊，用于將所述新的鍵值對寫入所述已指定的索引庫，合并成所述集群索引庫。

11.根據權利要求10所述的數據存儲的裝置，其特征在于，所述指定子模塊還包括：

排序單元，用于對所述索引庫進行排序；

所述寫入子模塊還包括：

寫入單元，用于將所述新的鍵值對通過哈希算法寫入指定集群索引庫中進行排序的索引庫。