[發(fā)明專利]一種基于LRC糾刪碼的可恢復(fù)云存儲(chǔ)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710009884.0
• 申請(qǐng)日: 2017-01-06
• 公開(kāi)（公告）號(hào): CN106776111A
• 公開(kāi)（公告）日: 2017-05-31
• 發(fā)明（設(shè)計(jì)）人: 徐劍;玄鵬開(kāi);徐健巡;張浩然
• 申請(qǐng)（專利權(quán)）人: 東北大學(xué)
• 主分類號(hào): G06F11/10
• 分類號(hào): G06F11/10;H04L29/08
• 代理公司: 沈陽(yáng)東大知識(shí)產(chǎn)權(quán)代理有限公司21109
• 代理人: 李在川

技術(shù)領(lǐng)域

本發(fā)明屬于文件存儲(chǔ)技術(shù)領(lǐng)域，具體涉及一種基于LRC糾刪碼的可恢復(fù)云存儲(chǔ)系統(tǒng)。

背景技術(shù)

云存儲(chǔ)系統(tǒng)具有以下優(yōu)點(diǎn)：無(wú)需本地存儲(chǔ)、節(jié)省大量的存儲(chǔ)空間、可以隨時(shí)隨地進(jìn)行上傳和下載、無(wú)需專門的管理人員、節(jié)省管理和經(jīng)濟(jì)成本等顯著優(yōu)點(diǎn)，且能提供可用性、可維護(hù)性和擴(kuò)展性保障。

然而當(dāng)前的云存儲(chǔ)服務(wù)器面臨著安全性的威脅：當(dāng)個(gè)人或企業(yè)用戶將數(shù)據(jù)上傳到服務(wù)器時(shí)，如果發(fā)生不可預(yù)知的事情，如自然災(zāi)害、病毒入侵、服務(wù)器受到攻擊或者工作人員管理疏忽問(wèn)題時(shí)，數(shù)據(jù)的完整性和機(jī)密性都得到了威脅。因此，確保在文件部分破壞時(shí)能完整的恢復(fù)出來(lái)越來(lái)越得到重視。

糾刪碼技術(shù)是一類源于信道傳輸?shù)木幋a技術(shù)，由于具有容忍多個(gè)數(shù)據(jù)幀丟失的特點(diǎn)被廣泛應(yīng)用在分布式存儲(chǔ)領(lǐng)域中。在分布式存儲(chǔ)系統(tǒng)中，糾刪碼將數(shù)據(jù)編碼成數(shù)據(jù)塊和校驗(yàn)塊，當(dāng)部分?jǐn)?shù)據(jù)塊損壞時(shí)，系統(tǒng)可以根據(jù)剩余的數(shù)據(jù)塊和校驗(yàn)塊恢復(fù)原來(lái)完整的文件，從而保證數(shù)據(jù)的完整性和可靠性。基于糾刪碼的容錯(cuò)技術(shù)因?yàn)樗^高的資源利用率、較強(qiáng)的容錯(cuò)能力成為最常用的容錯(cuò)技術(shù)。

糾刪碼通過(guò)技術(shù)含量較高的算法，提供和副本近似的可靠性，同時(shí)減小了額外所需冗余設(shè)備的數(shù)量，從而提高了存儲(chǔ)設(shè)備的利用率。但糾刪碼所帶來(lái)的額外負(fù)擔(dān)主要是計(jì)算量和數(shù)倍的網(wǎng)絡(luò)負(fù)載，優(yōu)缺點(diǎn)都相當(dāng)明顯。尤其是在出現(xiàn)硬盤故障后，重建數(shù)據(jù)非常耗CPU，而且計(jì)算一個(gè)數(shù)據(jù)塊需要通過(guò)網(wǎng)絡(luò)讀出N倍的數(shù)據(jù)并傳輸，所以網(wǎng)絡(luò)負(fù)載也有數(shù)倍甚至10數(shù)倍的增加。

當(dāng)前大多數(shù)的云存儲(chǔ)系統(tǒng)采用的是RS糾刪碼技術(shù)，但為了滿足分布式存儲(chǔ)的要求，即當(dāng)單個(gè)存儲(chǔ)磁盤發(fā)生故障時(shí)，只需要對(duì)該磁盤中的存儲(chǔ)進(jìn)行恢復(fù)，這樣就能把影響范圍縮小到一個(gè)磁盤當(dāng)中，從而恢復(fù)的效率就會(huì)更高。

LRC編碼的核心思想為：將校驗(yàn)塊(parity block)分為全局校驗(yàn)塊(global parity)、局部校驗(yàn)塊(local reconstruction parity)，故障恢復(fù)時(shí)分組計(jì)算。當(dāng)發(fā)生任何一個(gè)數(shù)據(jù)塊錯(cuò)誤時(shí)，只需用本地組內(nèi)的數(shù)據(jù)和校驗(yàn)塊用于計(jì)算，即可恢復(fù)出原始數(shù)據(jù)。

發(fā)明內(nèi)容

針對(duì)上述現(xiàn)有技術(shù)存在的不足，本發(fā)明提供一種基于LRC糾刪碼的可恢復(fù)云存儲(chǔ)系統(tǒng)。

本發(fā)明的技術(shù)方案如下：

一種基于LRC糾刪碼的可恢復(fù)云存儲(chǔ)系統(tǒng)，包括：用戶信息管理模塊、文件管理模塊和服務(wù)器端；

所述服務(wù)器端包括：數(shù)據(jù)庫(kù)服務(wù)器、業(yè)務(wù)處理服務(wù)器和多個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器；

所述用戶信息管理模塊，用于判斷用戶所需操作是注冊(cè)操作還是登陸操作，如果為注冊(cè)操作，獲取用戶輸入的用戶名、密碼和確認(rèn)密碼，并發(fā)送給數(shù)據(jù)庫(kù)服務(wù)器，如果為登陸操作，獲取用戶輸入的用戶名和密碼，并發(fā)送給數(shù)據(jù)庫(kù)服務(wù)器；接收數(shù)據(jù)庫(kù)服務(wù)器發(fā)送的注冊(cè)完成消息并提示用戶注冊(cè)完成；接收數(shù)據(jù)庫(kù)服務(wù)器發(fā)送的登陸成功消息或用戶名或密碼錯(cuò)誤消息，如果為登錄成功消息，提示用戶登陸成功，并向文件管理模塊發(fā)送認(rèn)證成功消息及用戶名，如果為用戶名或密碼錯(cuò)誤消息，提示用戶登陸失敗；

所述數(shù)據(jù)庫(kù)服務(wù)器，用于接收用戶信息管理模塊發(fā)送的用戶名、密碼和確認(rèn)密碼，存儲(chǔ)用戶名、密碼和確認(rèn)密碼，并向用戶信息管理模塊發(fā)送注冊(cè)完成消息；接收用戶信息管理模塊發(fā)送的用戶名和密碼，判斷用戶名與密碼是否匹配，是，向用戶信息管理模塊發(fā)送登陸成功消息，否則，向用戶信息管理模塊發(fā)送用戶名或密碼錯(cuò)誤消息；

所述文件管理模塊，用于接收用戶信息管理模塊發(fā)送的認(rèn)證成功消息和用戶名，并判斷用戶所需操作類型：

如果為上傳操作，獲取待上傳文件，提取文件名、是否可以共享、共享碼、文件大小和文件類型，基于RSA算法，生成公鑰、私鑰，將公鑰公開(kāi)，私鑰私密傳輸給業(yè)務(wù)處理服務(wù)器；將待上傳文件分為多個(gè)數(shù)據(jù)塊，并生成一個(gè)驗(yàn)證碼，利用LRC糾刪碼生成待上傳文件的全局校驗(yàn)塊，同時(shí)對(duì)數(shù)據(jù)塊進(jìn)行分組，利用LRC糾刪碼為每個(gè)組生成對(duì)應(yīng)的局部校驗(yàn)塊，對(duì)每一個(gè)數(shù)據(jù)塊和校驗(yàn)塊進(jìn)行Hash處理，并將處理之后的數(shù)據(jù)塊、文件名、全局校驗(yàn)塊和局部校驗(yàn)塊發(fā)送給數(shù)據(jù)存儲(chǔ)服務(wù)器，將Hash處理和生成校驗(yàn)塊參數(shù)信息存入元數(shù)據(jù)文件，將文件名、是否可以共享、共享碼、文件大小、文件類型、驗(yàn)證碼和元數(shù)據(jù)文件發(fā)送給業(yè)務(wù)處理服務(wù)器，將文件名存儲(chǔ)到本地?cái)?shù)據(jù)庫(kù)；接收文件存儲(chǔ)成功消息，并顯示；

如果為下載操作，獲取待下載文件的文件名和存儲(chǔ)位置，將文件名和下載請(qǐng)求發(fā)送給業(yè)務(wù)處理服務(wù)器；接收業(yè)務(wù)處理服務(wù)器發(fā)送的文件不可恢復(fù)消息，并顯示；接收業(yè)務(wù)處理服務(wù)器發(fā)送的待下載文件，并根據(jù)存儲(chǔ)位置存儲(chǔ)待下載文件；