[發明專利]一種用于大數據的分布式存儲系統

在審

• 申請號: 201510910421.2
• 申請日: 2015-12-10
• 公開（公告）號: CN105516313A
• 公開（公告）日: 2016-04-20
• 發明（設計）人: 龔艷;母繼元;常健
• 申請（專利權）人: 國網四川省電力公司信息通信公司;國家電網公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 梁田

技術領域

本發明涉及計算機應用技術領域，尤其涉及一種用于大數據的分布式存儲系統。

背景技術

隨著云計算、物聯網、移動互聯網等技術的發展，人類社會各個領域產生的數據量 都急劇增長，這些大數據已經成為一種重要的資源，并形成了以數據為中心，以存儲為中心 的發展趨勢，因此，如何存儲這些大數據變得非常重要。

傳統存儲采用集中式架構進行數據存儲，所有數據均由磁盤陣列Raid技術保證數 據的安全性，并集中存儲在專用的存儲設備上，所有的生產數據均通過網絡或專用存儲網 絡進行傳輸。但這種集中式架構存在擴容困難、成本高、安全性低、兼容性差的缺點。

發明內容

針對上述技術問題，本發明的目的在于提供一種用于大數據的分布式存儲系統， 能有效解決上述問題。

為達此目的，本發明采用以下技術方案：

一種用于大數據的分布式存儲系統，包括：若干臺應用服務器組成的應用服務器集群、 若干臺存儲服務器組成的存儲服務器集群和若干臺元數據服務器組成的元數據服務器集 群，所述應用服務器、存儲服務器和元數據服務器通過通訊網絡互連進行數據交換；所述應 用服務器集群用于產生和接收生產數據，所述存儲服務器集群用于提供存儲空間，所述元 數據服務器集群用于管理存儲空間。

特別地，所述存儲服務器、元數據服務器均采用X86架構服務器，同時支持文件和 塊協議。

特別地，所述存儲在各個應用服務器、存儲服務器和元數據服務器的數據均采用 副本機制進行數據保護，且各副本數據均存儲在與母本數據不同的節點上。

特別地，所述應用服務器、存儲服務器和元數據服務器通過全線速Infiniband網 絡進行互連。

本發明提出的用于大數據的分布式存儲系統采用分布式架構，存儲服務器同時支 持文件和塊協議，所有存儲服務器同時進行數據存儲，存儲在存儲服務器上的數據均采用 副本機制進行數據保護，且各副本數據均存儲在與母本數據不同的存儲服務器，所有數據 采用前端數據切片、后端分布的方式進行存儲。從而使該存儲系統具有擴容簡單、成本第、 安全性高、兼容性好的優點。

附圖說明

圖1是本發明實施例提供的用于大數據的分布式存儲系統結構框圖。

具體實施方式

下面結合附圖和實施例對本發明作進一步說明?？梢岳斫獾氖?，此處所描述的具 體實施例僅僅用于解釋本發明，而非對本發明的限定。另外還需要說明的是，為了便于描 述，附圖中僅示出了與本發明相關的部分而非全部內容，除非另有定義，本文所使用的所有 的技術和科學術語與屬于本發明的技術領域的技術人員通常理解的含義相同。本文中在本 發明的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在于限制本發 明。本文所使用的術語“及／或”包括一個或多個相關的所列項目的任意的和所有的組合。

實施例一

請參照圖1所示，圖1為本發明實施例提供的用于大數據的分布式存儲系統結構框圖。

本實施例中，用于大數據的分布式存儲系統包括若干臺應用服務器組成的應用服 務器集群、若干臺存儲服務器組成的存儲服務器集群和若干臺元數據服務器組成的元數據 服務器集群。所述應用服務器集群用于產生和接收生產數據，所述存儲服務器集群用于提 供存儲空間，所述元數據服務器集群用于管理存儲空間。所述存儲服務器采用x86架構服務 器，具體為SATA或SAS或SSD等硬盤；所述元數據服務器采用x86架構服務器，具體為SSD；所 述應用服務器采用支持所有架構服務器設備。所述應用服務器、存儲服務器和元數據服務 器通過Infiniband互連，進行數據交換。

所述存儲系統的數據存儲過程包括寫入和讀出過程，具體為：

寫入過程：

1、由應用服務器集群產生生產數據。

2、應用服務器向元數據服務器申請寫入請求，請求內容包括需要寫入的數據文件 的大小。

3、元數據服務器查詢整個存儲系統的地址空間，找出可以分配的地址塊，并將準 備分配的地址塊信息返回到應用服務器。

4、應用服務器根據返回的地址塊信息，將文件分片，并傳輸到各存儲節點，寫入成 功后，各節點返回寫入成功信號到元數據服務器，元數據服務器將地址塊空間標識為“已 用”。

5、完成數據的寫入。

讀出過程：