[發(fā)明專利]一種分布式系統(tǒng)的Namenode切換方法和系統(tǒng)有效
| 申請?zhí)枺?/td> | 201310462918.3 | 申請日: | 2013-09-30 |
| 公開(公告)號: | CN103491192A | 公開(公告)日: | 2014-01-01 |
| 發(fā)明(設(shè)計(jì))人: | 韓冰 | 申請(專利權(quán))人: | 北京搜狐新媒體信息技術(shù)有限公司 |
| 主分類號: | H04L29/08 | 分類號: | H04L29/08 |
| 代理公司: | 北京集佳知識產(chǎn)權(quán)代理有限公司 11227 | 代理人: | 王寶筠 |
| 地址: | 100084 北京市海淀區(qū)*** | 國省代碼: | 北京;11 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 分布式 系統(tǒng) namenode 切換 方法 | ||
1.一種分布式系統(tǒng)的Namenode切換方法,其特征在于,配置至少兩個(gè)Namenode,將所述Namenode連接到一臨時(shí)節(jié)點(diǎn)中并獲取連接參數(shù),所述Namenode以預(yù)設(shè)的回調(diào)函數(shù)根據(jù)所述連接參數(shù)從所述Namenode中確定一個(gè)主Namenode和至少一個(gè)從Namenode,分布式系統(tǒng)只使用所述主Namenode提供服務(wù),包括:
當(dāng)主Namenode與臨時(shí)節(jié)點(diǎn)斷開連接時(shí),則判定主Namenode無法提供服務(wù),觸發(fā)所述臨時(shí)節(jié)點(diǎn)中的從Namenode執(zhí)行所述回調(diào)函數(shù)在所述從Namenode中確定新的主Namenode;
使用所述新的主Namenode提供服務(wù)。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,還包括:
當(dāng)確定出主Namenode時(shí),將所述主Namenode的網(wǎng)絡(luò)參數(shù)更新到預(yù)設(shè)的存儲單元中;
觸發(fā)用戶側(cè)和服務(wù)器側(cè)從所述存儲單元中讀取所述主Namenode的網(wǎng)絡(luò)參數(shù),使得所述用戶側(cè)和服務(wù)器側(cè)根據(jù)讀取的所述網(wǎng)絡(luò)參數(shù)通過所述主Namenode進(jìn)行數(shù)據(jù)交互。
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,還包括分布式共享存儲系統(tǒng),所述分布式共享存儲系統(tǒng)分為多個(gè)存儲塊對寫入的數(shù)據(jù)進(jìn)行逐塊存儲:
所述主Namenode接收數(shù)據(jù)寫請求;
所述主Namenode將成功處理的數(shù)據(jù)寫請求中的數(shù)據(jù)內(nèi)容寫入所述分布式共享存儲系統(tǒng)的存儲塊中;
當(dāng)分布式共享存儲系統(tǒng)檢測到當(dāng)前存儲塊寫滿數(shù)據(jù)后,切換另一存儲塊用于存儲所述主Namenode寫入的數(shù)據(jù),并發(fā)送切換信令到所述臨時(shí)節(jié)點(diǎn)中的從Namenode,所述切換信令包括剛被切換的寫滿數(shù)據(jù)的存儲塊的位置信息;
相應(yīng)的,從Namenode根據(jù)所述切換信令中的位置信息從所述剛被切換的寫滿數(shù)據(jù)的存儲塊中讀取數(shù)據(jù)內(nèi)容并預(yù)存到對應(yīng)所述Namenode的內(nèi)存中。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,在所述使用所述新的主Namenode提供服務(wù)前,還包括:
所述新的主Namenode檢測所述分布式共享存儲系統(tǒng)中是否包含未被寫滿的存儲塊;
如果有,則將所述未被寫滿的存儲塊中數(shù)據(jù)內(nèi)容讀取到對應(yīng)的內(nèi)存中。
5.根據(jù)權(quán)利要求1至4任意一項(xiàng)所述的方法,其特征在于,還包括:
所述連接參數(shù)具體為Namenode連接到臨時(shí)節(jié)點(diǎn)的連接時(shí)間。
6.一種分布式系統(tǒng)的Namenode切換裝置,其特征在于,包括:
配置單元,用于配置至少兩個(gè)Namenode,將所述Namenode連接到一臨時(shí)節(jié)點(diǎn)中并獲取連接參數(shù),所述Namenode以預(yù)設(shè)的回調(diào)函數(shù)根據(jù)所述連接參數(shù)從所述Namenode中確定一個(gè)主Namenode和至少一個(gè)從Namenode,分布式系統(tǒng)只使用所述主Namenode提供服務(wù);
主Namenode再判斷單元,用于當(dāng)主Namenode與臨時(shí)節(jié)點(diǎn)斷開連接時(shí),則判定主Namenode無法提供服務(wù),觸發(fā)所述臨時(shí)節(jié)點(diǎn)中的從Namenode執(zhí)行所述回調(diào)函數(shù)在所述從Namenode中確定新的主Namenode;
提供服務(wù)單元,用于使用所述新的主Namenode提供服務(wù)。
7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,還包括:
網(wǎng)絡(luò)參數(shù)保存單元,用于當(dāng)確定出主Namenode時(shí),將所述主Namenode的網(wǎng)絡(luò)參數(shù)更新到預(yù)設(shè)的存儲單元中;
觸發(fā)讀取單元,用于觸發(fā)用戶側(cè)和服務(wù)器側(cè)從所述存儲單元中讀取所述主Namenode的網(wǎng)絡(luò)參數(shù),使得所述用戶側(cè)和服務(wù)器側(cè)根據(jù)讀取的所述網(wǎng)絡(luò)參數(shù)通過所述主Namenode進(jìn)行數(shù)據(jù)交互。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京搜狐新媒體信息技術(shù)有限公司,未經(jīng)北京搜狐新媒體信息技術(shù)有限公司許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201310462918.3/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- HDFS中NameNode單點(diǎn)失效的解決方法
- 一種分布式系統(tǒng)的Namenode切換方法和系統(tǒng)
- HDFS架構(gòu)及HDFS架構(gòu)中NameNode節(jié)點(diǎn)的壓力分解方法
- 一種分布式系統(tǒng)中響應(yīng)操作指令的方法和裝置
- 基于分布式存儲系統(tǒng)的NameNode切換方法和切換裝置
- 一種分布式文件系統(tǒng)HDFS的管理方法、裝置及系統(tǒng)
- 一種部署Namenode的方法和系統(tǒng)
- 一種數(shù)據(jù)處理方法及裝置
- 一種基于多對等NameNode分布式文件系統(tǒng)及寫入方法
- 一種面向Namenode的高效元數(shù)據(jù)構(gòu)建和RPC性能提升的方法和裝置





