[發明專利]一種大量小文件的云存儲優化方法及其系統

無效

• 申請號: 201910735729.6
• 申請日: 2019-08-09
• 公開（公告）號: CN110502472A
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 王任之
• 申請（專利權）人: 西藏寧算科技集團有限公司;的盧技術有限公司;西藏寧算信息科技有限公司;北京寧算科技有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/182
• 代理公司: 32272 南京禹為知識產權代理事務所(特殊普通合伙)
• 代理人: 王曉東<國際申請>=<國際公布>=<進入

本發明公開了一種大量小文件的云存儲優化方法及其系統，包括以下步驟，將Haystack引擎部署到云平臺；利用所述Haystack引擎對已寫入云磁盤的每個小文件進行封裝并創建各自對應的needle模型；構建所述needle模型的集合為數據文件模塊，所述小文件按寫入的先后順序追加到所述數據文件模塊中；使用所述Haystack引擎生成索引文件寫入云磁盤內；根據所述索引文件實現文件查找。本發明的有益效果：能夠降低大量小文件的存儲場景時的資源消耗，能夠減少無效輸入/輸出，將零散的小文件拼接成一個大文件維護少量的元數據，元數據可以緩存在內存中減少了大量無效輸入/輸出。

技術領域

本發明涉及云計算平臺的技術領域，尤其涉及一種大量小文件的云存儲優化方法及其云存儲優化系統。

背景技術

近年來在HDFS文件系統下，每個文件都要被創建對應的inode之類元數據，但是在海量文件場景下，傳統HDFS已經無法承載如此多的元數據IO量以及如此龐大的元數據搜索計算量了，唯一的做法就是降低元數據量，那么勢必就要降低文件實體的數量，所以這些文件系統無一例外的都是用了這樣一種變通的方法，即在文件中再創建文件，無法滿足高效存儲大量小文件。

元數據分散在各個文件當中，并且如果返回的元數據出現了以上四項之外的元數據，那么對用戶來說這些就是無用的，每次請求圖片的時候都要讀入內存，面對海量圖片的場景性能有巨大的影響。

發明內容

本部分的目的在于概述本發明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本申請的說明書摘要和發明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發明名稱的目的模糊，而這種簡化或省略不能用于限制本發明的范圍。

鑒于上述現有存在的問題，提出了本發明。

因此，本發明解決的一個技術問題是：提供一種大量小文件的云存儲優化方法滿足現有文件系統無法高效存儲大量小文件。

為解決上述技術問題，本發明提供如下技術方案：一種大量小文件的云存儲優化方法，包括以下步驟，將Haystack引擎部署到云平臺；利用所述Haystack 引擎對已寫入云磁盤的每個小文件進行封裝并創建各自對應的needle模型；構建所述needle模型的集合為數據文件模塊，所述小文件按寫入的先后順序追加到所述數據文件模塊中；使用所述Haystack引擎生成索引文件寫入云磁盤內；根據所述索引文件實現文件查找。

作為本發明所述的大量小文件的云存儲優化方法的一種優選方案，其中：所述將Haystack引擎部署到云平臺包括以下步驟，所述云平臺提供操作數據庫接口，安裝所述Haystack引擎；設置搜索引擎，在設置模塊中添加目標配置；創建索引類并添加塊映射關系；添加模板，在模板在創建搜索欄。

作為本發明所述的大量小文件的云存儲優化方法的一種優選方案，其中：基于所述Haystack引擎，用戶和程序通過web服務協議實現對象的讀寫和存儲資源的訪問，包括創建needle模型和生成索引文件，其中所述needle模型包含每個小文件的key、size、data數據信息。

作為本發明所述的大量小文件的云存儲優化方法的一種優選方案，其中：所述索引文件保存每個所述needle模型的key、offset、size信息，且所述索引文件只保存key的前四字節，所述數據文件模塊中的所述needle模型按照key 的字母順序存放。

作為本發明所述的大量小文件的云存儲優化方法的一種優選方案，其中：所述needle模型創建過程中產生賦值對應的偏移量，在構造或更新內存中映射時如果遇到相同偏移量的所述needle模型，則用偏移量值高的覆蓋值低的進行更新。