[發明專利]適用大批量小文件云存儲的方法及其裝置

有效

• 申請號: 201710206089.0
• 申請日: 2017-03-31
• 公開（公告）號: CN107423321B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 鄭晟
• 申請（專利權）人: 北京億智云科技有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/172;G06F16/182;H04L29/08
• 代理公司: 北京高航知識產權代理有限公司 11530
• 代理人: 李浩

1.一種適用大批量小文件云存儲的方法，其特征在于，包括以下步驟：

S1：文件上傳：按照文件拼接方式將文件進行選擇性拼接后得到處理文件并上傳；

S2：建立或查找存儲網格：使用一個尺寸大于設定閾值的數據塊，將數據塊劃分為多個大小相等的存儲網格，或查找剩余的存儲網格足夠存儲步驟S1中處理文件的數據塊；

S3：文件存儲：將步驟S1中的處理文件進行解析并存儲于步驟S2中數據塊的一個或多個存儲網格中；

在建立存儲網格的時候對相應的數據塊按照其存儲網格的尺寸建立數據塊規格記錄表，并在為處理文件查找儲網格的時候剔除存儲空間已滿的數據塊；

在步驟S2中，當存在需要存儲的處理文件時，根據當前處理文件優先查找或建立具有合適的存儲網格的數據塊對當前處理文件進行存儲；

在步驟S2中，還包括以下步驟:

S2-1：設定一基準值Y，若待處理文件為該基準值Y的整數倍，

則，存儲網格尺寸＝(Y)×(處理文件尺寸/Y)；

否則，存儲網格尺寸＝(Y)×(int(處理文件尺寸/Y)+1)；

其中int函數表示取整；

S2-2：根據當前需要存儲的處理文件查詢處理文件數據塊關系表，檢查該處理文件是否已經被存儲，如果記錄不存在，則表示為新文件，執行步驟S2-4；如果記錄存在，則表示為需要更新的文件，執行步驟S2-3；

S2-3:取得該處理文件原先存儲的數據塊，并且根據步驟S2-1計算的存儲網格尺寸與該處理文件的原文件的存儲網格尺寸進行比較，當該處理文件與原文件需要使用的是相同的存儲網格尺寸時，直接更新原文件數據塊中對應的存儲網格；當存儲文件與原文件使用不同的存儲網格尺寸時，先釋放原文件數據塊中對應存儲網格的存儲空間，然后執行步驟S2-4；

S2-4：查找所有存儲網格尺寸等于步驟S2-1中計算所得存儲網格尺寸的數據塊，遍歷這些數據塊，直到找到一個有空余存儲網格的數據塊，然后將該處理文件存入該數據塊的某個空余存儲網格中，然后更新相關數據表；如果合適的數據塊不存在，則使用一個數據塊，將其劃分為多個尺寸等于步驟S2-1中計算所得存儲網格尺寸的存儲網格。

2.根據權利要求1所述的適用大批量小文件云存儲的方法，其特征在于：在步驟S1中，所述的文件拼接方式為：

判別文件的尺寸大小，當文件的尺寸大于預設尺寸時，則認為是非小文件，獨立上傳；

當文件的尺寸小于或等于預設尺寸時，則認為是小文件，需要拼接；

其中，拼接的方式為：將小文件組合成最大尺寸不超過設定閾值的中型處理文件。

3.根據權利要求2所述的適用大批量小文件云存儲的方法，其特征在于：在步驟S1中，進行拼接之前還執行以下步驟：

預判當前小文件并入后，合成的中型處理文件尺寸是否超過設定閾值，如果超過，則不進行拼接；否則，拼接。

4.根據權利要求3所述的適用大批量小文件云存儲的方法，其特征在于：在預判到當前小文件并入后合成的中型處理文件尺寸超過設定閾值的，則在決定不進行拼接的同時將當前小文件標記為等待拼接文件以等待與其他小文件拼接生成另一個中型處理文件。

5.根據權利要求1所述的適用大批量小文件云存儲的方法，其特征在于：在步驟S2中，每個處理文件只存儲于一個數據塊中，且當一個處理文件占用一個數據塊的多個存儲網格時，該處理文件占用的存儲網格為連續的存儲網格或者為不連續的存儲網格。

6.根據權利要求1所述的適用大批量小文件云存儲的方法，其特征在于：在步驟S2-2中，將相對路徑結合文件名作為查詢對象進行查詢以檢查文件是否存在。

7.一種采用權利要求1-6中任意一項所述的適用大批量小文件云存儲的方法的適用大批量小文件云存儲的裝置。