[發明專利]HDFS中NameNode單點失效的解決方法

在審

• 申請號: 201310082608.9
• 申請日: 2013-03-15
• 公開（公告）號: CN103167035A
• 公開（公告）日: 2013-06-19
• 發明（設計）人: 徐安
• 申請（專利權）人: 漢柏科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

技術領域

本發明涉及分布式文件系統技術領域，特別涉及一種HDFS集群中NameNode單點失效的解決方法。

背景技術

Hadoop?Distributed?File?System，簡稱HDFS，是一個開源分布式文件系統。HDFS內部把集群分為兩類角色：NameNode（名字節點）和DataNode（數據節點），一個HDFS集群一般包括一個NameNode和多個DataNode，NameNode是管理文件命名空間和調節客戶端訪問文件的主服務器，DataNode是被NameNode控制并存儲實際數據的從服務器。作為HDFS集群的關鍵節點，NameNode的單點失效成為該分布式系統面臨的最大風險。為此，Hadoop社區及各個主要分支都研究了很多解決方案來解決這一問題。

Gluster?File?System，簡稱GlusterFS，是另一個開源分布式文件系統，主要應用在集群系統中，其配置簡單并具有很好的可擴展性。

如果能夠將GlusterFS應用于HDFS中，解決NameNode單點失效的問題，便可大大提高HDFS應對節點故障的能力。

發明內容

（一）所要解決的技術問題

本發明的目的在于提供一種HDFS中NameNode單點失效的解決方法，從而在NameNode單點失效時實現NameNode位置的平滑遷移。

（二）技術方案

為了解決上述技術問題，本發明提出了一種HDFS中NameNode單點失效的解決方法，所述方法包括以下步驟：

S1、啟動GlusterFS服務，并在節點A上掛載GlusterFS文件系統；

S2、在所述節點A上啟動HDFS?NameNode服務，并將HDFSNameNode的元數據保存在所述GlusterFS文件系統中；

S3、當所述節點A失效時，在另一節點B上掛載所述GlusterFS文件系統，并啟動HDFS?NameNode服務。

可選的，所述方法應用于OPV-Suite集群管理系統中。

可選的，步驟S1中，所述在節點A上掛載GlusterFS文件系統是通過在Windows或Linux操作系統下運行mount命令實現的。

可選的，步驟S3中，所述失效包括斷電或斷網。

（三）有益效果

采用本發明提出的技術方案，由于HDFS?NameNode使用掛載的GlusterFS文件系統來保存自己的元數據，這樣就保證了NameNode元數據的數據安全性。當某一Node失效時，由于NameNode的元數據沒有丟失，所以它可以在另外的Node上繼續工作，整個過程保證了NameNode位置的平滑遷移，從而有效避免了因NameNode單點失效給HDFS集群帶來的風險和損失。

附圖說明

圖1是本發明提出的HDFS中NameNode單點失效的解決方法的基本流程圖。

具體實施方式

下面結合附圖和實施例，對本發明的具體實施方式作進一步詳細描述。

本發明提出了一種HDFS中NameNode單點失效的解決方法，如圖1所示，所述方法包括以下步驟：

S1、啟動GlusterFS服務，并在節點A上掛載GlusterFS文件系統；

S2、在所述節點A上啟動HDFS?NameNode服務，并將HDFSNameNode的元數據保存在所述GlusterFS文件系統中；

S3、當所述節點A失效時，在另一節點B上掛載所述GlusterFS文件系統，并啟動HDFS?NameNode服務。

下面利用漢柏OPV-Suite集群管理系統對本發明的實現方式進行舉例說明。