[發(fā)明專利]一種分布式系統(tǒng)的Namenode切換方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310462918.3
• 申請日: 2013-09-30
• 公開（公告）號: CN103491192A
• 公開（公告）日: 2014-01-01
• 發(fā)明（設計）人: 韓冰
• 申請（專利權）人: 北京搜狐新媒體信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京集佳知識產(chǎn)權代理有限公司 11227
• 代理人: 王寶筠

技術領域

本發(fā)明涉及計算機領域，特別是涉及一種分布式系統(tǒng)的Namenode切換方法和系統(tǒng)。

背景技術

隨著網(wǎng)絡上需要處理的數(shù)據(jù)量越來越多，針對處理大量數(shù)據(jù)的分布式系統(tǒng)的應用范圍也越來越廣泛。在分布式系統(tǒng)中的元數(shù)據(jù)結點Namenode是整個分布式系統(tǒng)中的文件存儲系統(tǒng)的核心，分布式文件存儲系統(tǒng)所有的操作均需由Namenode參與。并且，Namenode負責維護整個分布式文件系統(tǒng)中所有文件的元信息以及目錄信息，如果Namenode出現(xiàn)了失敗，那么分布式文件存儲系統(tǒng)中所有文件信息將全部丟失。雖然一般來說分布式系統(tǒng)針對每份數(shù)據(jù)都可以根據(jù)配置進行多份數(shù)據(jù)備份，即不會因為Namenode出現(xiàn)了失敗而導致系統(tǒng)中的數(shù)據(jù)全部丟失，但是整個分布式系統(tǒng)仍舊會因為僅有的一個Namenode無法工作而導致無法提供正常的服務。

發(fā)明內(nèi)容

為了解決上述分布式系統(tǒng)因為僅有的一個Namenode無法工作而導致無法提供正常的服務的技術問題，本發(fā)明提供了一種分布式系統(tǒng)的Namenode切換方法和系統(tǒng)。

本發(fā)明實施例公開了如下技術方案：

一種分布式系統(tǒng)的Namenode切換方法，配置至少兩個Namenode，將所述Namenode連接到一臨時節(jié)點中并獲取連接參數(shù)，所述Namenode以預設的回調(diào)函數(shù)根據(jù)所述連接參數(shù)從所述Namenode中確定一個主Namenode和至少一個從Namenode，分布式系統(tǒng)只使用所述主Namenode提供服務，包括：

當主Namenode與臨時節(jié)點斷開連接時，則判定主Namenode無法提供服務，觸發(fā)所述臨時節(jié)點中的從Namenode執(zhí)行所述回調(diào)函數(shù)在所述從Namenode中確定新的主Namenode；

使用所述新的主Namenode提供服務。

優(yōu)選的，還包括：

當確定出主Namenode時，將所述主Namenode的網(wǎng)絡參數(shù)更新到預設的存儲單元中；

觸發(fā)用戶側和服務器側從所述存儲單元中讀取所述主Namenode的網(wǎng)絡參數(shù)，使得所述用戶側和服務器側根據(jù)讀取的所述網(wǎng)絡參數(shù)通過所述主Namenode進行數(shù)據(jù)交互。

優(yōu)選的，還包括分布式共享存儲系統(tǒng)，所述分布式共享存儲系統(tǒng)分為多個存儲塊對寫入的數(shù)據(jù)進行逐塊存儲：

所述主Namenode接收數(shù)據(jù)寫請求；

所述主Namenode將成功處理的數(shù)據(jù)寫請求中的數(shù)據(jù)內(nèi)容寫入所述分布式共享存儲系統(tǒng)的存儲塊中；

當分布式共享存儲系統(tǒng)檢測到當前存儲塊寫滿數(shù)據(jù)后，切換另一存儲塊用于存儲所述主Namenode寫入的數(shù)據(jù)，并發(fā)送切換信令到所述臨時節(jié)點中的從Namenode，所述切換信令包括剛被切換的寫滿數(shù)據(jù)的存儲塊的位置信息；

相應的，從Namenode根據(jù)所述切換信令中的位置信息從所述剛被切換的寫滿數(shù)據(jù)的存儲塊中讀取數(shù)據(jù)內(nèi)容并預存到對應所述Namenode的內(nèi)存中。

優(yōu)選的，在所述使用所述新的主Namenode提供服務前，還包括：

所述新的主Namenode檢測所述分布式共享存儲系統(tǒng)中是否包含未被寫滿的存儲塊；

如果有，則將所述未被寫滿的存儲塊中數(shù)據(jù)內(nèi)容讀取到對應的內(nèi)存中。

優(yōu)選的，還包括：

所述連接參數(shù)具體為Namenode連接到臨時節(jié)點的連接時間。

一種分布式系統(tǒng)的Namenode切換裝置，包括：

配置單元，用于配置至少兩個Namenode，將所述Namenode連接到一臨時節(jié)點中并獲取連接參數(shù)，所述Namenode以預設的回調(diào)函數(shù)根據(jù)所述連接參數(shù)從所述Namenode中確定一個主Namenode和至少一個從Namenode，分布式系統(tǒng)只使用所述主Namenode提供服務；

主Namenode再判斷單元，用于當主Namenode與臨時節(jié)點斷開連接時，則判定主Namenode無法提供服務，觸發(fā)所述臨時節(jié)點中的從Namenode執(zhí)行所述回調(diào)函數(shù)在所述從Namenode中確定新的主Namenode；

提供服務單元，用于使用所述新的主Namenode提供服務。

優(yōu)選的，還包括：

網(wǎng)絡參數(shù)保存單元，用于當確定出主Namenode時，將所述主Namenode的網(wǎng)絡參數(shù)更新到預設的存儲單元中；

觸發(fā)讀取單元，用于觸發(fā)用戶側和服務器側從所述存儲單元中讀取所述主Namenode的網(wǎng)絡參數(shù)，使得所述用戶側和服務器側根據(jù)讀取的所述網(wǎng)絡參數(shù)通過所述主Namenode進行數(shù)據(jù)交互。