[發(fā)明專利]基于HDFS的異構(gòu)物聯(lián)網(wǎng)大數(shù)據(jù)的存儲(chǔ)與讀取系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011450126.0
• 申請(qǐng)日: 2020-12-11
• 公開（公告）號(hào): CN112463755B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 趙生捷;張恒暢;韓豐夏;鄧浩
• 申請(qǐng)（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/13;G06F16/14;G06F16/16
• 代理公司: 北京鑫瑞森知識(shí)產(chǎn)權(quán)代理有限公司 11961
• 代理人: 劉晶

本發(fā)明涉及一種基于HDFS的異構(gòu)物聯(lián)網(wǎng)大數(shù)據(jù)的存儲(chǔ)與讀取系統(tǒng)及方法，包括數(shù)據(jù)查詢服務(wù)器、客戶端和多個(gè)數(shù)據(jù)存儲(chǔ)中心；數(shù)據(jù)查詢服務(wù)器分別與客戶端和各個(gè)數(shù)據(jù)存儲(chǔ)中心連接；每一個(gè)數(shù)據(jù)存儲(chǔ)中心包括數(shù)據(jù)采集模塊、數(shù)據(jù)處理服務(wù)器和Hadoop集群，數(shù)據(jù)采集模塊與數(shù)據(jù)處理服務(wù)器連接，數(shù)據(jù)處理服務(wù)器與Hadoop集群連接，Hadoop集群與數(shù)據(jù)查詢服務(wù)器連接；Hadoop集群包括HDFS分布式文件系統(tǒng)；數(shù)據(jù)查詢服務(wù)器中存儲(chǔ)有各個(gè)Hadoop集群的存儲(chǔ)參數(shù)。與現(xiàn)有技術(shù)相比，本發(fā)明在多個(gè)Hadoop集群之外，設(shè)置數(shù)據(jù)查詢服務(wù)器，來保存各集群的IP地址和HDFS文件信息，打破了傳統(tǒng)數(shù)據(jù)架構(gòu)的壁壘，用戶可以經(jīng)數(shù)據(jù)查詢服務(wù)器查詢或下載多個(gè)Hadoop集群的數(shù)據(jù)，而不必依次訪問各個(gè)Hadoop集群。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)存儲(chǔ)與讀取領(lǐng)域，尤其是涉及一種基于HDFS的異構(gòu)物聯(lián)網(wǎng)大數(shù)據(jù)的存儲(chǔ)與讀取系統(tǒng)及方法。

背景技術(shù)

一方面，隨著網(wǎng)絡(luò)技術(shù)和通信技術(shù)的迅速發(fā)展，人類社會(huì)步入了大數(shù)據(jù)時(shí)代，人們也越來越關(guān)注大數(shù)據(jù)的處理和分析；另一方面，隨著智慧城市的推進(jìn)，各個(gè)部門的物聯(lián)網(wǎng)系統(tǒng)產(chǎn)生了大量的數(shù)據(jù)，部門是指管理某物聯(lián)網(wǎng)系統(tǒng)(如智慧交通系統(tǒng))的機(jī)構(gòu)，如交通、環(huán)保、水利、氣象等，智慧城市物聯(lián)網(wǎng)系統(tǒng)往往是異構(gòu)互聯(lián)網(wǎng)。

Hadoop是一個(gè)開源的分布式計(jì)算平臺(tái)，Hadoop以Hadoop分布式文件系統(tǒng)HDFS(Hadoop?Distributed?File?System)和MapReduce為核心，HDFS的諸多優(yōu)點(diǎn)如高容錯(cuò)性、高擴(kuò)展性讓其有了很大的發(fā)展。用戶可以在低廉的硬件上部署Hadoop，構(gòu)建分布式文件系統(tǒng)；無需了解Hadoop分布式系統(tǒng)底層的具體細(xì)節(jié)就可以使用分布式編程模型開發(fā)應(yīng)用程序。同時(shí)，用戶可以很容易地組織計(jì)算機(jī)資源搭建自己的分布式計(jì)算平臺(tái)，利用Hadoop優(yōu)秀的計(jì)算和存儲(chǔ)能力，完成大規(guī)模數(shù)據(jù)的處理。

HDFS是一種分布式文件系統(tǒng)，該系統(tǒng)由NameNode和DataNode兩種節(jié)點(diǎn)組成。其中，NameNode用于管理Hadoop集群的命名空間和客戶端對(duì)文件的訪問操作，維護(hù)著文件系統(tǒng)樹及整棵樹內(nèi)所有文件和目錄。DataNode是文件系統(tǒng)的工作節(jié)點(diǎn)，管理存儲(chǔ)的數(shù)據(jù)，它們根據(jù)需要存儲(chǔ)并檢索數(shù)據(jù)塊，受客戶端或NameNode調(diào)度，并且定期向NameNode發(fā)送它們所存儲(chǔ)塊的列表。

中國專利CN201910383263.8公開了一種基于Hadoop的云平臺(tái)存儲(chǔ)方法，將獲取的大量數(shù)據(jù)存儲(chǔ)在基于Hadoop的云平臺(tái)，開發(fā)人員不需要對(duì)底層的磁盤、服務(wù)器等基礎(chǔ)設(shè)施進(jìn)行搭建和管理，而只需對(duì)云存儲(chǔ)服務(wù)平臺(tái)進(jìn)行有效的維護(hù)和管理，致力于平臺(tái)上的應(yīng)用開發(fā)，以及云存儲(chǔ)文件系統(tǒng)的優(yōu)化，就可以滿足用戶的現(xiàn)實(shí)需求。

但是，在物聯(lián)網(wǎng)系統(tǒng)中，受地理環(huán)境和成本限制，多個(gè)部門的物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)在不同的數(shù)據(jù)中心，即使使用Hadoop架構(gòu)進(jìn)行數(shù)據(jù)存儲(chǔ)，每個(gè)部門的數(shù)據(jù)也分別存儲(chǔ)在不同的Hadoop集群。用戶如果想要讀取不同部門的數(shù)據(jù)，就必須依次訪問各個(gè)部門的數(shù)據(jù)中心，才能讀取數(shù)據(jù)，不同部門的數(shù)據(jù)不互通，這給數(shù)據(jù)的綜合分析使用帶來了阻礙。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于HDFS的異構(gòu)物聯(lián)網(wǎng)大數(shù)據(jù)的存儲(chǔ)與讀取系統(tǒng)及方法，在多個(gè)Hadoop集群之外，設(shè)置數(shù)據(jù)查詢服務(wù)器，來保存各集群的IP地址和HDFS文件信息，打破了傳統(tǒng)數(shù)據(jù)架構(gòu)的壁壘，用戶可以經(jīng)數(shù)據(jù)查詢服務(wù)器查詢或下載多個(gè)Hadoop集群的數(shù)據(jù)，而不必依次訪問各個(gè)Hadoop集群。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

一種基于HDFS的異構(gòu)物聯(lián)網(wǎng)大數(shù)據(jù)的存儲(chǔ)與讀取系統(tǒng)，包括數(shù)據(jù)查詢服務(wù)器、客戶端和多個(gè)數(shù)據(jù)存儲(chǔ)中心；

所述數(shù)據(jù)查詢服務(wù)器分別與客戶端和各個(gè)數(shù)據(jù)存儲(chǔ)中心連接；

每一個(gè)數(shù)據(jù)存儲(chǔ)中心包括數(shù)據(jù)采集模塊、數(shù)據(jù)處理服務(wù)器和Hadoop集群，所述數(shù)據(jù)采集模塊與數(shù)據(jù)處理服務(wù)器連接，所述數(shù)據(jù)處理服務(wù)器與Hadoop集群連接，所述Hadoop集群與數(shù)據(jù)查詢服務(wù)器連接；