[發(fā)明專利]針對大數(shù)據(jù)分析的多hadoop分布式文件系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710828222.6
• 申請日: 2017-09-14
• 公開（公告）號: CN107562926B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計）人: 陳磊;楊云峰
• 申請（專利權(quán)）人: 丙申南京網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182
• 代理公司: 常州佰業(yè)騰飛專利代理事務(wù)所(普通合伙) 32231
• 代理人: 滕詣迪

1.針對大數(shù)據(jù)分析的多hadoop分布式文件系統(tǒng)，其特征在于：包括以下步驟：

步驟1：用戶環(huán)境下?lián)碛袛?shù)個分散的原始HDFS文件存儲系統(tǒng)，所述原始HDFS文件存儲系統(tǒng)被部署在數(shù)個分散的分布式服務(wù)器中，每一個所述原始HDFS文件存儲系統(tǒng)中均存儲有大量分級文件，每一個所述原始HDFS文件存儲系統(tǒng)均使用一個唯一的HDFS文件位置信息作為根節(jié)點；

步驟2：創(chuàng)建HDFS聚合節(jié)點，所述創(chuàng)建HDFS聚合節(jié)點的步驟如下：

A.將所述分布式服務(wù)器進行歸類，集中所有所述原始HDFS文件存儲系統(tǒng)的所述根節(jié)點；

B.將所有所述根節(jié)點作為葉節(jié)點使用，并將所有葉節(jié)點聚合為一個開放應(yīng)用程序編程接口API；

C.對所述開放應(yīng)用程序編程接口API進行新的命名，并作為所述聚合節(jié)點使用；

D.將所述聚合節(jié)點部署在新的分布式服務(wù)器中，創(chuàng)立聚合節(jié)點HDFS文件存儲系統(tǒng)；

步驟3：用戶執(zhí)行Map/Reduce任務(wù)調(diào)度器，從所述聚合節(jié)點HDFS文件存儲系統(tǒng)中請求查詢文件P的位置信息；

步驟4：所述聚合節(jié)點HDFS文件存儲系統(tǒng)從所述葉節(jié)點中取得所述文件P位置信息，集中歸納并把整理完善的所述文件P位置信息的映射信息返回給所述Map/Reduce任務(wù)調(diào)度器；

步驟5：所述Map/Reduce任務(wù)調(diào)度器根據(jù)所述聚合節(jié)點HDFS文件存儲系統(tǒng)返回的所述映射信息調(diào)度任務(wù)。