[發(fā)明專(zhuān)利]基于Alluxio的多HDFS集群的路由方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810069577.6
• 申請(qǐng)日: 2018-01-24
• 公開(kāi)（公告）號(hào): CN110071870B
• 公開(kāi)（公告）日: 2022-03-18
• 發(fā)明（設(shè)計(jì)）人: 郭業(yè)俊;林海強(qiáng);王志強(qiáng);許立群
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇寧云商集團(tuán)股份有限公司
• 主分類(lèi)號(hào): H04L45/74
• 分類(lèi)號(hào): H04L45/74;H04L45/745;H04L67/63;H04L67/50;H04L67/141;H04L67/133;H04L67/10;H04L67/1097;H04L43/08
• 代理公司: 北京市萬(wàn)慧達(dá)律師事務(wù)所 11111
• 代理人: 黃玉東

本發(fā)明公開(kāi)了一種基于Alluxio的多HDFS集群的路由方法及裝置，所述方法包括：將HDFS中需要做路由的路徑掛載到Alluxio的主節(jié)點(diǎn)Master端，形成路由表；HDFS客戶(hù)端去Alluxio的主節(jié)點(diǎn)Master端獲取路由表并將其拉取本地；根據(jù)路由表中的信息解析客戶(hù)端的RPC的請(qǐng)求路徑，根據(jù)解析后的路徑轉(zhuǎn)發(fā)給對(duì)應(yīng)的HDFS集群。本發(fā)明解決了Federation加Viewfs配置方案管理維護(hù)不便的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)生態(tài)系統(tǒng)分布式存儲(chǔ)領(lǐng)域，具體地說(shuō)，是涉及一種基于Alluxio的多HDFS集群的路由方法及裝置。

背景技術(shù)

Hadoop分布式文件系統(tǒng)(HDFS)是一種被設(shè)計(jì)成適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。多臺(tái)計(jì)算機(jī)聯(lián)網(wǎng)協(xié)同工作(有時(shí)也稱(chēng)為一個(gè)集群)就像單臺(tái)系統(tǒng)一樣解決某種問(wèn)題，這樣的系統(tǒng)我們稱(chēng)之為分布式系統(tǒng)。分布式文件系統(tǒng)是分布式系統(tǒng)的一個(gè)子集，它們解決的問(wèn)題就是數(shù)據(jù)存儲(chǔ)。換句話(huà)說(shuō)，它們是橫跨在多臺(tái)計(jì)算機(jī)上的存儲(chǔ)系統(tǒng)。存儲(chǔ)在分布式文件系統(tǒng)上的數(shù)據(jù)自動(dòng)分布在不同的節(jié)點(diǎn)上。分布式文件系統(tǒng)在大數(shù)據(jù)時(shí)代有著廣泛的應(yīng)用前景，它們?yōu)榇鎯?chǔ)和處理來(lái)自網(wǎng)絡(luò)和其它地方的超大規(guī)模數(shù)據(jù)提供所需的擴(kuò)展能力。

HDFS集群借此來(lái)存儲(chǔ)所有需要分析的輸入數(shù)據(jù)以及由MapReduce作業(yè)生成的任何輸出結(jié)果。HDFS是一種基于數(shù)據(jù)塊的文件系統(tǒng)，它跨越集群中的多個(gè)節(jié)點(diǎn)，并且使用用戶(hù)數(shù)據(jù)可以存儲(chǔ)在文件中。它提供了傳統(tǒng)的分層文件組織，以便用戶(hù)或應(yīng)用程序可以操作(創(chuàng)建、重命名、移動(dòng)或刪除)文件和目錄。它還提供了一個(gè)流接口，借助于該接口，可使用MapReduce框架運(yùn)行所選的任何應(yīng)用程序。

大數(shù)據(jù)中，HDFS集群以Master-Slave模式運(yùn)行，主要有兩類(lèi)節(jié)點(diǎn)：一個(gè)Namenode(即Master)和多個(gè)Datanode(即Slave)。NameNode(名字節(jié)點(diǎn))：?jiǎn)我恢髟獢?shù)據(jù)服務(wù)器，其中包含每個(gè)文件、文件位置以及這些文件及其所在的DataNode內(nèi)的所有數(shù)據(jù)塊的內(nèi)存映射；Namenode管理著文件系統(tǒng)的Namespace，它維護(hù)著文件系統(tǒng)樹(shù)(filesystemtree)以及文件樹(shù)中所有的文件和文件夾的元數(shù)據(jù)(metadata)。DataNode(數(shù)據(jù)節(jié)點(diǎn))：每個(gè)集群節(jié)點(diǎn)均有一個(gè)從屬DataNode，它為讀/寫(xiě)請(qǐng)求提供服務(wù)以及按照NameNode的指令執(zhí)行數(shù)據(jù)塊創(chuàng)建、刪除和復(fù)制；Datanode是文件系統(tǒng)的工作節(jié)點(diǎn)，他們根據(jù)客戶(hù)端或者是NameNode的調(diào)度存儲(chǔ)和檢索數(shù)據(jù)，并且定期向NameNode發(fā)送他們所存儲(chǔ)的塊(block)的列表。

由于是單個(gè)Namenode的HDFS架構(gòu)，因此整個(gè)HDFS文件系統(tǒng)的吞吐量受限于單個(gè)Namenode的吞吐量。在只有一個(gè)Namenode的HDFS中，此Namenode的宕機(jī)無(wú)疑會(huì)導(dǎo)致整個(gè)集群不可用。

目前的Hadoop集群都是單Namenode對(duì)外提供服務(wù)。明顯地，當(dāng)用戶(hù)量大時(shí)會(huì)出現(xiàn)服務(wù)宕機(jī)問(wèn)題，就算備份(standby)服務(wù)器激活也會(huì)導(dǎo)致崩潰。因此，對(duì)于分布式存儲(chǔ)Hadoop集群，主節(jié)點(diǎn)的元數(shù)據(jù)和客戶(hù)端的RPC(遠(yuǎn)程過(guò)程調(diào)用協(xié)議)請(qǐng)求通常會(huì)成為性能瓶頸，為解決性能瓶頸問(wèn)題，現(xiàn)在一般使用“Federation+viewfs”來(lái)做集群的橫向擴(kuò)展。