[發明專利]一種高效高可靠的大數據存儲系統、方法、計算機程序

在審

• 申請號: 201910681574.2
• 申請日: 2019-07-26
• 公開（公告）號: CN110457161A
• 公開（公告）日: 2019-11-15
• 發明（設計）人: 唐聃;袁煒;蔡紅亮;高燕;劉善政;曾瓊
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F11/14;G06F16/182
• 代理公司: 50230 重慶市信立達專利代理事務所(普通合伙)
• 代理人: 陳炳萍<國際申請>=<國際公布>=<進入

1.一種高效高可靠的大數據存儲系統，其特征在于，所述高效高可靠的大數據存儲系統包括：

數據上傳模塊，按照配置中心設置獲取用戶上傳的數據，并將數據傳輸給編碼模塊；

陣列化模塊，按照配置中心的參數，計算出編碼的陣列，并存儲下來；

編碼模塊，接收數據上傳模塊傳輸的數據，讀取陣列化模塊計算的陣列，按照陣列進行編碼；

心跳檢測模塊，主節點和從節點之間互相發送心跳信息，讀取配置中心的心跳延遲時間，如果超過時間，則判斷該節點失效，并將信息發送給數據恢復模塊；

數據恢復模塊，根據心跳監測模塊的反饋信息，解析出失效節點信息，讀取配置中心的數據恢復相關參數，解析失效節點在陣列中對應的位置信息，打包發送給解碼模塊，進行數據恢復；

解碼模塊，獲取數據恢復模塊傳輸的失效節點位置信息，然后進行數據恢復；

數據下載模塊，根據要下載的數據ID查詢各個原始數據分塊的位置，如果各個原始數據分塊存在丟失，則先進行數據恢復，如果都存在，則將所有原始數據分塊下載下來，進行組裝成原始數據；

負載均衡模塊，讀取配置中心的設置，負責分配編碼后的分塊存儲節點，以及數據恢復時選擇的新生節點；

配置中心，負責管理系統中的各種參數；

分布式存儲系統，存儲編碼后的分塊。

2.如權利要求1所述的高效高可靠的大數據存儲系統，其特征在于，所述陣列化模塊包括：

參數設置單元，用于設置方案參數，參數包括：原始數據塊數量n，校驗塊數量m，有限域大小GF(2^w)；

矩陣構建單元，用于構建有限域GF(2^w)以及對應的二進制矩陣和柯西矩陣，并將柯西矩陣擴展成二進制矩陣；

陣列構建單元，通過二進制矩陣構建陣列；

運算優化單元，對整個陣列進行運算統計。

3.如權利要求1所述的高效高可靠的大數據存儲系統，其特征在于，所述編碼模塊包括：

原始數據加載單元，根據陣列要求從要編碼的文件中取出對應的數據；

冗余數據計算單元，根據替換列表計算出各個替換式子的值，再根據陣列計算出冗余數據。

4.如權利要求1所述的高效高可靠的大數據存儲系統，其特征在于，所述解碼模塊包括；

譯碼單元，用于根據陣列構建譯碼矩陣；

數據計算單元，用于對丟失數據恢復需要的數據進行計算；

數據恢復單元，得到恢復所有丟失數據需要的數據塊；再根據這些數據塊的數據異或得到對應的丟失數據。