[發明專利]一種多網盤下的增量糾刪碼存儲方法及系統

有效

• 申請號: 201610137334.2
• 申請日: 2016-03-10
• 公開（公告）號: CN105760116B
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 張春霞
• 申請（專利權）人: 天津科技大學
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30;H04L29/08
• 代理公司: 天津佳盟知識產權代理有限公司 12002
• 代理人: 侯力

一種多網盤下的增量糾刪碼存儲方法及系統。多網盤下的增量糾刪碼存儲方法包括：文件首先劃分為若干“文件塊”，并對“文件塊”采用糾刪碼算法轉化為若干“糾刪數據塊”，最后將全部“糾刪數據塊”分散存儲在多個網盤中，并提供“文件塊”級別的去冗余存儲。多網盤下的增量糾刪碼存儲系統包括：“網盤”裝置，負責存儲文件的數據內容；“文件系統元服務器”裝置，負責存儲文件系統的元數據及“文件塊”去冗余管理；“文件系統客戶端”裝置，負責“文件塊”的分解與合成、“糾刪數據塊”的編碼與解碼、“糾刪數據塊”的網盤上傳與下載、去冗余、及對外提供文件訪問服務。本發明能夠有效地提高基于多網盤存儲系統的可靠性、訪問效率及空間利用率。

技術領域

本發明屬于計算機領域，主要關注提高基于多網盤的文件可靠性、存儲空間高效利用、且可高效率訪問的裝置系統和方法。

背景技術

在公有存儲云情況下，基于多網盤的文件存儲能夠有效防止公有存儲云的服務商對用戶文件的非法訪問，同時基于多網盤的文件糾刪碼存儲還能有效降低對特定存儲云服務商的絕對依賴問題。目前已有的解決方案是用戶將文件整體進行糾刪碼編碼后將糾刪碼文件存儲到不同的網盤上，這種方案的缺點是：即便用戶只想讀取該文件的部分內容，也需要用戶將多個網盤上的糾刪碼文件全部下載到本地，然后再采用糾刪碼解碼生成整個原文件，最后讀取該文件的指定部分內容，這種解決方案下對文件的訪問效率極低，因為用戶不得不下載整個文件；并且在用戶擁有大量相似文件時也大大浪費了用戶在存儲云上的空間利用率。

發明內容

本發明目的是解決現有公有存儲云解決方案下對文件的可靠性低、訪問效率極低以及存儲云空間的無效浪費問題，提供一種多網盤下的增量糾刪碼存儲系統和方法。本發明針對文件先進行分塊、然后針對文件塊進行糾刪碼編碼并把糾刪碼數據塊存放到不同網盤上，這樣既提高了用戶文件的可靠性、提高了用戶存儲云空間的利用率，也提高了用戶訪問文件的訪問效率。

本發明給出的多網盤下的增量糾刪碼存儲系統至少由一個或多個網盤以及“文件系統元服務器”裝置和“文件系統客戶端”裝置組成；本發明給出的多網盤下的增量糾刪碼存儲方法，采用對文件先進行分塊、再針對每個文件塊進行糾刪碼編碼，并把多個糾刪碼數據塊上傳到多個網盤的方法。

本發明技術方案

1.一種多網盤下的增量糾刪碼存儲系統，所述系統包括“文件系統元服務器”裝置、“文件系統客戶端”裝置和“網盤”裝置；“文件系統元服務器”裝置，主要是用來管理及存儲文件系統的元數據，并對文件提供“文件”級別和“文件塊”級別去冗余管理；“文件系統客戶端”裝置，主要是用來管理系統配置信息庫、“文件塊”的分解與合成、“糾刪數據塊”的編碼與解碼、“糾刪數據塊”的網盤上傳與下載、去冗余以及對外提供文件的透明訪問；“網盤”裝置，主要是用來存儲文件數據內容即“糾刪數據塊”，“網盤”裝置包括各種公有云中的網盤、私有云中的網盤以及其它能夠提供文件存取服務的文件服務器；“文件系統客戶端”裝置與“網盤”裝置通過網絡連接，“文件系統客戶端”裝置與“文件系統元服務器”裝置既可以通過網絡連接也可以本地直接連接；

其中，