[發(fā)明專利]基于Alluxio的多HDFS集群的路由方法及裝置

有效

• 申請?zhí)枺?/td>: 201810069577.6
• 申請日: 2018-01-24
• 公開（公告）號: CN110071870B
• 公開（公告）日: 2022-03-18
• 發(fā)明（設(shè)計(jì)）人: 郭業(yè)俊;林海強(qiáng);王志強(qiáng);許立群
• 申請（專利權(quán)）人: 蘇寧云商集團(tuán)股份有限公司
• 主分類號: H04L45/74
• 分類號: H04L45/74;H04L45/745;H04L67/63;H04L67/50;H04L67/141;H04L67/133;H04L67/10;H04L67/1097;H04L43/08
• 代理公司: 北京市萬慧達(dá)律師事務(wù)所 11111
• 代理人: 黃玉東

1.一種基于Alluxio的多HDFS集群的路由方法，其特征在于，所述方法包括：

將HDFS中需要做路由的路徑掛載到Alluxio的主節(jié)點(diǎn)Master端，形成路由表；

HDFS客戶端去Alluxio的主節(jié)點(diǎn)Master端獲取路由表并將其拉取到本地；

根據(jù)路由表中的信息解析客戶端的RPC的請求路徑，根據(jù)解析后的路徑轉(zhuǎn)發(fā)給對應(yīng)的HDFS集群；在HDFS的客戶端利用獲取的路由表去解析HDFS客戶端的RPC的請求路徑后，通過將路徑在路由表做前綴匹配，找到該路徑位于的HDFS集群，并將該請求轉(zhuǎn)發(fā)給各HDFS集群的NameNode中，所述NameNode收到后給HDFS的客戶端返回響應(yīng)；

其中，所述獲取路由表進(jìn)一步包括：

在HDFS的客戶端添加Alluxio的客戶端JAR包，所述Alluxio的客戶端JAR包作為HDFS的客戶端的插件去獲取Alluxio的主節(jié)點(diǎn)Master端的路由表；在HDFS的客戶端獲取路由表信息后，還對獲取的路由表進(jìn)行緩存處理，形成的所述路由表采用HashMap的數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)。

2.如權(quán)利要求1所述的多HDFS集群的路由方法，其特征在于，HDFS中需要做路由的路徑在AlluxioMaster中的掛載的方式為同名掛載。

3.如權(quán)利要求1所述的多HDFS集群的路由方法，其特征在于，Alluxio的客戶端和主節(jié)點(diǎn)Master端的連接為短連接。

4.一種基于Alluxio的多HDFS集群的路由裝置，其特征在于，所述裝置包括：

路由表信息生成模塊，用于將HDFS中需要做路由的路徑掛載到Alluxio的主節(jié)點(diǎn)Master端，形成路由表；

路由信息提取模塊，用于通過Alluxio的主節(jié)點(diǎn)Master端獲取路由表并將其拉取到本地客戶端；在所述路由信息提取模塊的客戶端安裝有插件，所述插件為Alluxio的客戶端的JAR包；

路由信息轉(zhuǎn)發(fā)模塊，用于根據(jù)路由表中的信息解析客戶端的RPC的請求路徑，根據(jù)解析后的路徑轉(zhuǎn)發(fā)給對應(yīng)的HDFS集群；在HDFS的客戶端利用獲取的路由表去解析HDFS客戶端的RPC的請求路徑后，通過將路徑在路由表做前綴匹配，找到該路徑位于的HDFS集群，并將該請求轉(zhuǎn)發(fā)給各HDFS集群的NameNode中，所述NameNode收到后給HDFS的客戶端返回響應(yīng)；

緩存模塊，用于對路由信息提取模塊對拉取的路由表進(jìn)行緩存處理，按序進(jìn)行解析和轉(zhuǎn)發(fā)，形成的所述路由表采用HashMap的數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)。