[發明專利]一種基于公有云的安全可靠的公有云存儲系統的架構及方法

在審

• 申請號: 201611002258.0
• 申請日: 2016-11-10
• 公開（公告）號: CN106657266A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 劉鵬;張真;王義飛;杜何飛;陳思恩
• 申請（專利權）人: 南京云創大數據科技股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 南京瑞弘專利商標事務所(普通合伙)32249
• 代理人: 彭雄

技術領域

本發明涉及一種基于公有云的安全可靠的公有云存儲系統及上傳、下載、刪除、保障其可靠性的方法，屬于大數據的云存儲領域。

背景技術

在現在的大數據時代背景下數據作為一種資產，誰掌握海量數據誰就占據了巨量的財富。而用戶的數據信息存儲在一些公有云上則面臨著數據泄露的危險，在數據挖掘技術的日益發展的當下誰都不能保證自己的數據存儲在某些公有云平臺上不被數據挖掘，這樣用戶的數據安全性無從談起。

新興的大數據技術讓越來越多的企業意識到大數據的重要性，也想得到大數據的資產，于是許多企業發展大數據技術，提供云存儲服務，有的甚至為了得到“大數據資產”甚至提供免費云存儲服務，但是在大數據時代興起的初期，探索不都是成功的，有的企業提供的公有云服務在一段時間過后并沒有發現企業的盈利模式，但是提供的云存儲服務每天都會產生大量的費用。于是企業的探索以失敗告終，可能會關停提供的服務。這樣，用戶存儲的大量數據就會面臨危險。存儲在公有云上的數據不夠可靠。

完全依賴某一家的公有云服務性能和價格的比較可能不盡如人意。

建設和維護一個數據中心要花費大量的人力物力財力，所以即使大型的公有云提供商也只是建設有幾個數據中心，而需要大數據服務的用戶可能在全國各地，這樣數據的調度及傳輸等受到物理距離網絡性能影響很大。存儲性能受到客觀條件的限制。

發明內容

本發明針對現有公有云存儲存在的問題，提供了一種安全性高、可靠性好、性價比高以及調度靈活的基于公有云的安全可靠的公有云存儲系統及上傳、下載、刪除方法。

本發明的架構方案：

一種基于公有云的安全可靠的公有云存儲系統的架構，包括服務器、多家公有云和客戶端，服務器僅負責存儲文件的元數據信息以及對外提供公有云存儲服務，多家公有云則存儲實際的文件數據，客戶端調用服務器的公有云存儲服務，服務器的底層對客戶端不可見。

優選的：所述客戶端包括編碼模塊、解碼模塊、服務器交互模塊、公有云交互模塊，其中：

編碼模塊，負責對用戶要上傳文件的原始數據選擇N+M的方式生成M個校驗塊，其中，N是指恢復文件的最少校驗塊，M是指生成的校驗塊數目。并根據分成的校驗塊生成初始元數據信息。

解碼模塊，負責對用戶從公有云下載下來的校驗塊的解碼并整合恢復成原始數據。

服務器交互模塊，負責調用服務器的公有云存儲服務，主要包括向服務器發送上傳請求，所述上傳請求包括要上傳文件的初始元數據信息，接收服務器根據初始元數據信息反饋的存儲元數據信息，以及向服務器發送下載請求。

公有云交互模塊，負責把編碼模塊生成的校驗塊根據存儲元數據信息分別上傳到公有云，以及根據存儲元數據信息分別下載對應的公有云上的校驗塊到客戶端。

優選的：所述服務器包括文件系統管理模塊、公有云存儲管理調度模塊、數據容錯恢復模塊、客戶端接口模塊，其中：

文件系統管理模塊，負責存儲文件的存儲元數據信息。

公有云存儲管理調度模塊，負責底層多家公有云的管理，根據初始元數據信息為所述客戶端上傳文件所需要的M家公有云的URL地址的分配，將初始元數據信息和其對應的URL地址合成為存儲元數據信息。公有云存儲管理調度模塊用于檢測公有云的服務狀況。

數據容錯恢復模塊，負責底層公有云服務情況的容錯恢復處理。

多家公有云負責存儲實際的數據塊。主要用于存儲客戶端根據存儲元數據信息上傳的校驗塊。

優選的：若公有云存儲管理調度模塊檢測有X家公有云發布臨時停止服務的消息，X小于N，數據容錯恢復模塊把不能用的X家公有云的存儲的校驗塊的信息狀態改為不可用，在服務器端接收客戶端對文件的請求時先讀取文件校驗塊的狀態信息，選擇狀態為可用的N個校驗塊的存儲元數據信息返回給客戶端，公有云存儲管理調度模塊發現臨時停止服務的公有云恢復正常服務，數據容錯恢復模塊把恢復正常服務的公有云的校驗塊的信息狀態由不可用改為可用。