[發明專利]一種大量小文件的云存儲優化方法及其系統

無效

• 申請號: 201910735729.6
• 申請日: 2019-08-09
• 公開（公告）號: CN110502472A
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 王任之
• 申請（專利權）人: 西藏寧算科技集團有限公司;的盧技術有限公司;西藏寧算信息科技有限公司;北京寧算科技有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/182
• 代理公司: 32272 南京禹為知識產權代理事務所(特殊普通合伙)
• 代理人: 王曉東<國際申請>=<國際公布>=<進入

1.一種大量小文件的云存儲優化方法，其特征在于：包括以下步驟，

將Haystack引擎(100)部署到云平臺；

利用所述Haystack引擎(100)對已寫入云磁盤的每個小文件進行封裝并創建各自對應的needle模型(200)；

構建所述needle模型(200)的集合為數據文件模塊(300)，所述小文件按寫入的先后順序追加到所述數據文件模塊(300)中；

使用所述Haystack引擎(100)生成索引文件(400)寫入云磁盤內；

根據所述索引文件(400)實現文件查找。

2.如權利要求1所述的大量小文件的云存儲優化方法，其特征在于：所述將Haystack引擎(100)部署到云平臺包括以下步驟，

所述云平臺提供操作數據庫接口，安裝所述Haystack引擎(100)；

設置搜索引擎，在設置模塊中添加目標配置；

創建索引類并添加塊映射關系；

添加模板，在模板在創建搜索欄。

3.如權利要求1或2所述的大量小文件的云存儲優化方法，其特征在于：基于所述Haystack引擎(100)，用戶和程序通過web服務協議實現對象的讀寫和存儲資源的訪問，包括創建needle模型(200)和生成索引文件(400)，其中所述needle模型(200)包含每個小文件的key、size、data數據信息。

4.如權利要求3所述的大量小文件的云存儲優化方法，其特征在于：所述索引文件(400)保存每個所述needle模型(200)的key、offset、size信息，且所述索引文件(400)只保存key的前四字節，所述數據文件模塊(300)中的所述needle模型(200)按照key的字母順序存放。

5.如權利要求4所述的大量小文件的云存儲優化方法，其特征在于：所述needle模型(200)創建過程中產生賦值對應的偏移量，在構造或更新內存中映射時如果遇到相同偏移量的所述needle模型(200)，則用偏移量值高的覆蓋值低的進行更新。

6.如權利要求4或5所述的大量小文件的云存儲優化方法，其特征在于：還包括根據所述索引文件(400)進行搜索的步驟，

讀取小文件；

根據內存的字母序號中查找請求文件的key的前4個字節；

得到offset，size數值，從stack中獲取所述needle模型(200)的key值；

判斷模型key值是否與文件的key值相等，若是則按照所述needle模型(200)中的size將data返回給用戶；若否則判斷模型key值是否與文件的前4個字節相等；

若是則完成查找并開始計算下個所述needle模型(200)位置，讀取下個所述述needle模型(200)key值，若否則不返回任何數據。

7.如權利要求6所述的大量小文件的云存儲優化方法，其特征在于：包括小文件的定義，根據用戶不同的需求設置于架構區塊的不同閾值，將所有小于架構區塊閾值大小的文件均定義為小文件，且所述閾值為75％。

8.如權利要求7所述的大量小文件的云存儲優化方法，其特征在于：所述根據所述索引文件(400)實現文件查找包括，

所述Haystack引擎(100)啟動時會將索引加載到云平臺服務器的內存中，在內存中通過查找索引來定位在數據文件中的偏移量和大小，包括查找小文件在所述數據文件模塊(300)中的起始位置與大小。

9.如權利要求7或8所述的大量小文件的云存儲優化方法，其特征在于：所述Haystack引擎(100)的小文件對象為圖像文件，包括圖像讀寫的步驟，

上傳層接收用戶上傳的圖像，測量原始圖像大小并將其保存到儲存層；

圖像服務層接收HTTP圖像請求，并向用戶提供保存于所述儲存層的圖像；

用戶的請求首先調度到最近的云平臺節點，如果緩存命中，直接將圖像內容返回用戶，否則請求后端的存儲系統，緩存將圖片內容返回用戶。

10.一種大量小文件的云存儲系統，其特征在于：包括Haystack引擎(100)、needle模型(200)、數據文件模塊(300)和索引文件(400)；

所述Haystack引擎(100)為開源搜索框架，能夠部署到云平臺直接使用，基于對象的存儲設備，通過web服務協議能夠實現對象的讀寫和存儲資源的訪問；所述needle模型(200)為基于所述Haystack引擎(100)創建的模型，用于保存小文件的數據信息；所述數據文件模塊(300)為所述needle模型(200)按照順序存放的集合并存儲在云中；所述索引文件(400)為基于所述Haystack引擎(100)生成的索引表。