[發明專利]一種大數據存儲方法

在審

• 申請號: 201310540707.7
• 申請日: 2013-11-04
• 公開（公告）號: CN103634372A
• 公開（公告）日: 2014-03-12
• 發明（設計）人: 井淑明
• 申請（專利權）人: 天津漢柏信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30;G06F3/06
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 方挺;孟潭

技術領域

本發明涉及計算機數據存儲領域，具體涉及一種大數據存儲方法。

技術背景

Hadoop是一個能夠讓用戶輕松架設和使用的分布式計算平臺，Hadoop分布式文件系統(HDFS)被設計成適合運行在通用硬件上的分布式文件系統，具有高效性、高擴展性、高容錯性，可移植性等優點。Hadoop是架設大型數據中心的最佳選擇，但是Hadoop的架構中有一個很危險的缺陷——單點失效。Hadoop存在著一個唯一的名稱節點，它負責管理文件系統名稱空間和控制外部客戶機的訪問，一旦名稱節點出現故障，就很大程度會導致集群的數據丟失，發生災難性的后果。

現有的技術方案是將名稱節點的數據備份的網絡存儲器上，例如網絡文件系統NFS，一旦出現故障采取人工方式進行恢復，恢復期間無法對數據進行訪問使用，且增加了架設及維護網絡服務器的成本。

發明內容

本發明主要提供了一種大數據存儲方法，實現無中心的、高效的大數據存儲。

本發明實施例提供了一種大數據存儲方法，應用于兩臺及以上的服務器集群中，包括：選取至少兩臺服務器啟動GlusterFS服務，將所述至少兩臺服務器本地的存儲資源共享成GlusterFS的基本存儲單元，并將所述基本存儲單元組成一個GlusterFS的卷；選取集群中任意一臺服務器掛載所述卷；在所述掛載所述卷的服務器上啟動Hadoop的名稱節點服務，并將所述名稱節點的數據存儲在掛載的卷上。

其中，所述基本存儲單元數目為啟動GlusterFS服務的服務器臺數。

其中，進一步包括：所述掛載所述卷的服務器宕機，選取其他服務器掛載所述卷。

本發明實施例提供的一種大數據存儲方法，在集群中同時搭建兩種分布式文件系統GlusterFS和Hadoop，采用GlusterFS來保存名稱節點的數據，保證Hadoop的名稱節點數據的安全性，實現了無中心的、高效的大數據存儲，消除了Hadoop的單點故障。

附圖說明

圖1所示為本發明實施例提供的一種大數據存儲方法流程圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

本發明實施例提供一種大數據存儲方法，應用于兩臺及以上的服務器集群，實現無中心的、高效的大數據存儲。

圖1所示為本發明實施例提供的一種大數據存儲方法流程圖。如圖1所示，該方法包括：

步驟101：選取至少兩臺服務器啟動GlusterFS服務，將該至少兩臺服務器本地的存儲資源共享成GlusterFS的基本存儲單元，并將該基本存儲單元組成一個GlusterFS的卷；

在服務器集群中，選擇N臺服務器，在每臺服務器上啟動GlusterFS服務，把該N臺服務器本地的存儲資源共享成GlusterFS的一個基本存儲單元(brick)，這樣就有N個基本存儲單元，通過配置協商把這N個基本存儲單元進一步組成一個GlusterFS的卷(volume)。

其中，N為大于等于二的整數，選擇N臺服務器啟動GlusterFS服務，寫入GlusterFS中的數據就會同步到這N臺上，相當于一份數據在N臺服務器上做了備份，只要有一臺服務器工作正常，則數據不會丟失。

步驟102：選取集群中任意一臺服務器掛載該卷；

由于GlusterFS是一個分布式的文件系統，只要集群服務器之間網絡互通，就可以隨意選擇一臺掛載該卷。

步驟103：在掛載該卷的服務器上啟動Hadoop的名稱節點服務，并將名稱節點的數據存儲在掛載的卷上。

這樣名稱節點(NameNode)的數據就都存儲在了GlusterFS文件系統里，Hadoop的名稱節點產生數據時，直接寫入了掛載的卷里，對于GlusterFS來說，每次接收到數據以后，就會將此份數據同步到所有的基本存儲單元上，即N臺啟動了GlusterFS服務的服務器，相當于有了N個備份，且這N臺數據是完全一樣的，都是完成的名稱節點的數據。

啟動Hadoop的其他計算節點，與該名稱節點共同組成完整的Hadoop服務體系，對外提供大數據的處理工作。