[發明專利]一種高效高可靠的大數據存儲系統、方法、計算機程序

在審

• 申請號: 201910681574.2
• 申請日: 2019-07-26
• 公開（公告）號: CN110457161A
• 公開（公告）日: 2019-11-15
• 發明（設計）人: 唐聃;袁煒;蔡紅亮;高燕;劉善政;曾瓊
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06F11/10
• 分類號: G06F11/10;G06F11/14;G06F16/182
• 代理公司: 50230 重慶市信立達專利代理事務所(普通合伙)
• 代理人: 陳炳萍<國際申請>=<國際公布>=<進入

本發明屬于信息數據處理技術領域，公開了一種高效高可靠的大數據存儲系統、方法、計算機程序，按照配置中心設置獲取用戶上傳的數據；陣列化模塊，計算出編碼的陣列；讀取陣列化模塊計算的陣列，按照陣列進行編碼；主節點和從節點之間互相發送心跳信息，讀取配置中心的心跳延遲時間；解析出失效節點信息；進行數據恢復；根據要下載的數據ID查詢各個原始數據分塊的位置；讀取配置中心的設置，負責分配編碼后的分塊存儲節點，以及數據恢復時選擇的新生節點；配置中心，負責管理系統中的各種參數；存儲編碼后的分塊。本發明提供了一種存儲效率達到最優、高效、高可靠性、易擴展的大數據存儲解決方案。

技術領域

本發明屬于信息數據處理技術領域，尤其涉及一種高效高可靠的大數據存儲系統、方法、計算機程序。

背景技術

目前，最接近的現有技術：

隨著信息技術在各個行業和領域的不斷發展，數據量呈現出指數級增長的趨勢，數據量的快速增長帶來的數據存儲可靠性問題以及數據訪問的并發效率問題也隨之而來。通常有效的方法是構建由多個數據節點(數據節點可以是一臺PC或者服務器等可用做數據存儲的設備)組成的分布式存儲系統。各行業領域存儲數據量的持續增長導致分布式存儲系統的規模越來越大，節點數量不斷增加。現有的一些企業已經擁有多個超過3000節點的存儲系統。由于分布式存儲系統具有地域的分散性，以及網絡的一些特性，因此分布式存儲系統也面臨著許多軟硬件故障，病毒攻擊，以及自然災害等考驗。這些因素都有可能導致多個數據節點失效，以致數據丟失。因此，如何為分布式存儲系統提供一個安全的環境，讓其具有高可靠性，其數據具有高可用性，成為了現階段的分布式安全存儲的一個重要課題。高容錯能力與數據可靠性密切相關，成為了分布式存儲系統的不可或缺的技術，故而針對分布式存儲系統的多容錯技術對保障系統數據安全至關重要。

目前，在分布式存儲系統中最為常見的數據容錯技術主要為多副本策略。該策略是把數據復制n-1個副本分別存儲在n個不同節點上，以實現冗余備份。冗余數據為n-1個副本數據，當同時出現n-1個節點同時失效后能夠有效地恢復數據。商用存儲系統大多數使用的數據可靠性增強方法便是多容錯策略。著名的分布式存儲系統GFS，hadoop都采用了此方法。這種方法不需要專門的編碼和重構算法，容錯性能較好，但空間利用率低。如果容錯能力為n-1時，空間利用率只有1/n。在如今的大規模分布式存儲系統中，隨著容錯能力的提升而不斷下降的存儲效率和不斷增加的更新成本成為其巨大缺陷。

基于糾刪碼的存儲系統容錯方法(簡稱糾刪碼策略)，是近年來一種頗受業界重視的增強存儲系統可靠性的方法。與多副本策略相比，糾刪碼策略的最大優勢在于能夠在保證容錯能力的情況下，能夠有效地降低更新成本，提高存儲效率。因此，糾刪碼策略成為提高分布式存儲系統的可靠性方法的研究熱點。對利用糾刪碼策略作為分布式存儲系統的容錯機制研究，國外主要有田納西大學的Plank團隊和IBM的Blaum團隊，國內有清華大學舒繼武團隊和中國科技大學許胤龍團隊等。