[發明專利]一種數據存儲方法及裝置

有效

• 申請號: 201710386030.4
• 申請日: 2017-05-26
• 公開（公告）號: CN107707600B
• 公開（公告）日: 2018-09-18
• 發明（設計）人: 張炎潑
• 申請（專利權）人: 貴州白山云科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L9/32;G06F11/10
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 白瑩;李冬梅

本發明公開了一種數據存儲方法及裝置，此方法包括：對文件存儲區域進行分組，設置每個分組的存儲容量；接收客戶端發送的文件上傳請求，文件上傳請求包括待上傳文件的文件標識和根據預設算法計算出的所述待上傳文件的校驗塊；確定待上傳文件的信息，包括所述待上傳文件的文件標識、所述待上傳文件的原始數據和所述校驗塊；確定目標分組，包括：確定各分組的文件標識范圍，根據所述待上傳文件的文件標識和各分組的文件標識范圍，將文件標識范圍包含所述待上傳文件的文件標識的分組并且剩余存儲量不小于待上傳文件信息占用的存儲量的分組作為目標分組；將所述待上傳文件的信息存儲至所述目標分組。本發明可以提高文件管理科學性，提高存儲速度。

技術領域

本發明涉及云存儲領域，尤其涉及一種數據存儲的方法及裝置。

背景技術

現有的分布式數據存儲系統一般采用固定的數據副本(如2副本或3副本)，其主要缺點是對于數據存儲區域中存儲的訪問次數較少的冷數據，需要同樣占用多副本存儲空間，使得無法騰出較多的存儲空間給數據存儲節點中存儲的訪問次數較多的熱點數據使用，造成存儲空間的有效利用率較低。

為了節省冷數據占用的存儲空間，現有技術中，利用糾刪碼(Erasure Coding)算法對文件內容進行編碼，當文件內容損壞時，可以利用該編碼將文件內容回復，這樣減少了冷數據因存儲副本占用的存儲空間。

當用戶下載文件時，需要在存儲空間中逐個查找存儲的文件，導致系統資源被長時間占用，這樣會對系統正常的操作產生一定的影響和干擾。

發明內容

本發明旨在解決上面描述的問題。本發明的目的是提供解決以上問題的一種數據存儲的方法及裝置。

本發明提供的數據存儲的方法，包括：

步驟1，對文件存儲區域進行分組，設置每個分組的存儲容量；

步驟2，接收客戶端發送的文件上傳請求，所述文件上傳請求包括待上傳文件的文件標識和根據預設算法計算出的所述待上傳文件的校驗塊；確定所述待上傳文件的信息，包括所述待上傳文件的文件標識、所述待上傳文件的原始數據和所述校驗塊；

步驟3，確定目標分組，包括：確定各分組的文件標識范圍，根據所述待上傳文件的文件標識和各分組的文件標識范圍，將文件標識范圍包含所述待上傳文件的文件標識的分組并且剩余存儲量不小于待上傳文件信息占用的存儲量的分組作為目標分組；

步驟4，將所述待上傳文件的信息存儲至所述目標分組。

上述方法還具有以下特點：

所述確定各分組的文件標識范圍包括：確定各分組中包含的所有文件標識的涵蓋范圍，未存入任何信息的分組的文件標識范圍和只存入一個文件標識的分組的文件標識范圍為最大范圍。

上述方法還具有以下特點：

所述步驟3還包括：在所述文件標識范圍不是所述最大范圍的分組中，如果各分組的所述文件標識范圍均不涵蓋所述待上傳文件的文件標識，或者只有一個分組內的所述文件標識范圍涵蓋所述待上傳文件的文件標識且該分組的剩余存儲量小于所述待上傳文件信息占用的存儲量，則將已存儲文件信息且剩余存儲量不小于所述待上傳文件信息占用的存儲量的分組作為所述目標分組；

如果已存儲文件信息的每個分組的剩余存儲量均小于所述待上傳文件信息占用的存儲量，則將未存儲文件信息的分組作為所述目標分組。

上述方法還具有以下特點：