[發(fā)明專(zhuān)利]基于HDFS的數(shù)據(jù)管理方法、裝置、電子設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011532758.1
• 申請(qǐng)日: 2020-12-22
• 公開(kāi)（公告）號(hào): CN112559483A
• 公開(kāi)（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 黃友俊;李星;吳建平;金東勛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 賽爾網(wǎng)絡(luò)有限公司
• 主分類(lèi)號(hào): G06F16/182
• 分類(lèi)號(hào): G06F16/182;G06F16/14
• 代理公司: 中科專(zhuān)利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 王文思

1.一種基于HDFS的數(shù)據(jù)管理方法，其特征在于，包括：

接收用戶上傳的項(xiàng)目數(shù)據(jù)；

將所述項(xiàng)目數(shù)據(jù)按照業(yè)務(wù)類(lèi)型劃分為多個(gè)數(shù)據(jù)塊，其中，各所述數(shù)據(jù)塊的業(yè)務(wù)類(lèi)型不同；

將所述多個(gè)數(shù)據(jù)塊存入HDFS集群中對(duì)應(yīng)的項(xiàng)目節(jié)點(diǎn)中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述多個(gè)數(shù)據(jù)塊存入HDFS集群中對(duì)應(yīng)的項(xiàng)目節(jié)點(diǎn)之前，所述方法還包括：

判斷所述HDFS集群中是否已存在與所述多個(gè)數(shù)據(jù)塊對(duì)應(yīng)的項(xiàng)目節(jié)點(diǎn)；

若不存在所述項(xiàng)目節(jié)點(diǎn)，則在所述HDFS集群中創(chuàng)建新的項(xiàng)目節(jié)點(diǎn)，并將所述多個(gè)數(shù)據(jù)塊存于所述新的項(xiàng)目節(jié)點(diǎn)中；

若已存在所述項(xiàng)目節(jié)點(diǎn)，則在所述項(xiàng)目節(jié)點(diǎn)下獲取存儲(chǔ)空間后，將所述多個(gè)數(shù)據(jù)塊存入所述項(xiàng)目節(jié)點(diǎn)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述若不存在所述項(xiàng)目節(jié)點(diǎn)，則在所述HDFS集群中創(chuàng)建新的項(xiàng)目節(jié)點(diǎn)，并將所述多個(gè)數(shù)據(jù)塊存于所述新的項(xiàng)目節(jié)點(diǎn)中包括：

將所述多個(gè)數(shù)據(jù)塊存儲(chǔ)于第一數(shù)據(jù)隊(duì)列中；

通過(guò)所述HDFS集群的Blockmap的索引機(jī)制創(chuàng)建所述新的項(xiàng)目節(jié)點(diǎn)的存儲(chǔ)空間及所述存儲(chǔ)空間的一級(jí)索引；

將所述第一數(shù)據(jù)隊(duì)列中的所述多個(gè)數(shù)據(jù)塊依次分塊存儲(chǔ)于所述新的項(xiàng)目節(jié)點(diǎn)的存儲(chǔ)空間中。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述若已存在所述項(xiàng)目節(jié)點(diǎn)，則在所述項(xiàng)目節(jié)點(diǎn)下獲取存儲(chǔ)空間后，將所述多個(gè)數(shù)據(jù)塊存入所述項(xiàng)目節(jié)點(diǎn)包括：

將所述多個(gè)數(shù)據(jù)塊存儲(chǔ)于第二數(shù)據(jù)隊(duì)列中；

通過(guò)所述項(xiàng)目節(jié)點(diǎn)的一級(jí)索引查找到所述項(xiàng)目節(jié)點(diǎn)，判斷所述多個(gè)數(shù)據(jù)塊的所有業(yè)務(wù)類(lèi)型是否均存在于所述項(xiàng)目節(jié)點(diǎn)中；

當(dāng)所述多個(gè)數(shù)據(jù)塊中包括新的數(shù)據(jù)類(lèi)型時(shí)，在所述項(xiàng)目節(jié)點(diǎn)中追加所述新的數(shù)據(jù)類(lèi)型的存儲(chǔ)空間；

將所述多個(gè)數(shù)據(jù)塊存儲(chǔ)于所述項(xiàng)目節(jié)點(diǎn)的存儲(chǔ)空間中。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述多個(gè)數(shù)據(jù)塊存儲(chǔ)于對(duì)應(yīng)的數(shù)據(jù)類(lèi)型的數(shù)據(jù)塊存儲(chǔ)空間之前，所述方法還包括：

判斷各數(shù)據(jù)類(lèi)型的數(shù)據(jù)塊存儲(chǔ)空間的剩余容量是否大于對(duì)應(yīng)的所述數(shù)據(jù)塊的大小；

當(dāng)所述剩余容量小于所述對(duì)應(yīng)的所述數(shù)據(jù)塊的大小時(shí)，創(chuàng)建新的數(shù)據(jù)塊存儲(chǔ)空間及所述數(shù)據(jù)塊存儲(chǔ)空間的二級(jí)索引；

將所述數(shù)據(jù)塊存入所述新的數(shù)據(jù)塊存儲(chǔ)空間中；

當(dāng)所述剩余容量大于所述對(duì)應(yīng)的所述數(shù)據(jù)塊的大小時(shí)，將所述數(shù)據(jù)塊存入所述數(shù)據(jù)塊存儲(chǔ)空間。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

當(dāng)用戶查找指定項(xiàng)目的指定業(yè)務(wù)數(shù)據(jù)時(shí)，遍歷所述HDFS集群中對(duì)應(yīng)的項(xiàng)目類(lèi)型節(jié)點(diǎn)中的所有數(shù)據(jù)塊，獲取所述指定業(yè)務(wù)數(shù)據(jù)。

7.根據(jù)權(quán)利要求5或6所述的方法，其特征在于，當(dāng)所述項(xiàng)目類(lèi)型節(jié)點(diǎn)包括二級(jí)索引時(shí)，所述方法還包括：

當(dāng)用戶查找指定項(xiàng)目的指定業(yè)務(wù)數(shù)據(jù)時(shí)，遍歷對(duì)應(yīng)的項(xiàng)目類(lèi)型節(jié)點(diǎn)的一級(jí)索引和二級(jí)索引下的所有數(shù)據(jù)塊，獲取所述指定業(yè)務(wù)數(shù)據(jù)。

8.一種基于HDFS的數(shù)據(jù)管理裝置，其特征在于，包括：

數(shù)據(jù)接收模塊，用于接收用戶上傳的項(xiàng)目數(shù)據(jù)；

數(shù)據(jù)分塊模塊，用于將所述項(xiàng)目數(shù)據(jù)按照業(yè)務(wù)類(lèi)型劃分為多個(gè)數(shù)據(jù)塊，其中，各所述數(shù)據(jù)塊的業(yè)務(wù)類(lèi)型不同；

數(shù)據(jù)存儲(chǔ)模塊，用于將所述多個(gè)數(shù)據(jù)塊存入HDFS集群中對(duì)應(yīng)的項(xiàng)目節(jié)點(diǎn)中。

9.一種電子設(shè)備，包括：存儲(chǔ)器，處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)權(quán)利要求1至7中的任一項(xiàng)所述基于HDFS的數(shù)據(jù)管理方法中的各個(gè)步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1至7中的任一項(xiàng)所述基于HDFS的數(shù)據(jù)管理方法中的各個(gè)步驟。