[發明專利]一種數據存儲系統

有效

• 申請號: 201611257420.3
• 申請日: 2016-12-30
• 公開（公告）號: CN107066205B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 惠潤海;楊浩
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/182
• 代理公司: 北京德恒律治知識產權代理有限公司 11409
• 代理人: 章社杲;盧軍峰

本發明提出了一種數據存儲系統，該數據存儲系統包括：Hadoop集群，和設置在Hadoop集群中的組件、NFS服務器模塊，其中，組件包括Map?Reduce框架，并且Map?Reduce框架用于執行Map?Reduce流程，以及Map?Reduce流程包括Map任務和Reduce任務，設置在NFS服務器模塊中的磁盤陣列模塊，并且通過磁盤陣列模塊和NFS服務器模塊構成共享存儲設備，從而為Hadoop集群提供了存儲，以及將各個Map任務的結果存儲至共享存儲設備，以去掉shuffle過程，從而優化了Map任務和Reduce任務的流程；以及組件將Hadoop集群中使用的文件切分為多個塊，并且將每個塊均發到不同的計算機節點，從而實現了負載均衡。本發明通過該數據存儲系統，從而使得系統在性價比、可靠性、可維護、性能等方面均得到了較大改善。

技術領域

本發明涉及通信領域，具體來說，涉及一種數據存儲系統。

背景技術

近些年，Hadoop開源大數據項目日益成熟，其給各個大數據應用行業帶來了可行的解決方案，Hadoop集群的并行處理框架Map-Reduce對結構化和半結構化數據的處理均能夠實現多臺節點并行化，可以很大程度上提升數據分析處理的速度。

同時，Hadoop集群的默認存儲采用自帶的分布式文件系統HDFS，默認情況下，該HDFS采用三副本存儲，但是，對于大數據應用來說，HDFS默認的多副本存儲有幾個缺陷：

大數據應用系統通常不僅僅只做大數據分析，還有很多其他類型的業務數據，因此HDFS很難滿足各種應用場景的需求，尤其是小文件存儲場景，因此分析時，需要經過一次數據導入，將數據導入到HDFS當中，造成了極大的不便；

HDFS的三副本的存儲空間利用率為33.3％，對于大數據存儲和分析來說，成本是相當昂貴的；

HDFS屬于開源項目，文件系統的可靠性、可維護性等方面均存在較多問題，不適合存儲生產環境中的關鍵數據。

針對相關技術中的問題，目前尚未提出有效的解決方案。

發明內容

針對相關技術中的問題，本發明提出一種數據存儲系統，通過磁盤陣列RAID和第二協議組合的方式，替代HHDFS三副本存儲的方式，使得系統的可靠性、可維護等方面均得到了較大改善，從而解決了現有技術中分布式文件系統HDFS的成本、可靠性和易用性的問題。

本發明的技術方案是這樣實現的：

根據本發明的一個方面，提供了一種數據存儲系統。

該數據存儲系統包括：Hadoop集群，和設置在Hadoop集群中的組件、NFS服務器模塊，其中，組件包括Map-Reduce框架，并且Map-Reduce框架用于執行Map-Reduce流程，以及Map-Reduce流程包括Map任務和Reduce任務，設置在NFS服務器模塊中的磁盤陣列模塊，并且通過磁盤陣列模塊和NFS服務器模塊構成共享存儲設備，從而為Hadoop集群提供了存儲，以及將各個Map任務的結果存儲至共享存儲設備，以去掉shuffle過程，從而優化了Map任務和Reduce任務的流程；以及組件將Hadoop集群中使用的文件切分為多個塊，并且將每個塊均發到不同的計算機節點，從而實現了負載均衡。

根據本發明的一個實施例，組件進一步包括：NFS共享存儲模塊、HDFS存儲協議轉換模塊、Map-Reduce流程中的去Shuffle階段模塊、Map-Reduce任務調度模塊。

根據本發明的一個實施例，磁盤陣列采用RAID5或RAID6的存儲方式，并且將Hadoop集群中使用的文件切割為64MB的塊。

本發明的有益技術效果在于：