[發(fā)明專利]基于Hadoop的物聯(lián)網(wǎng)大數(shù)據(jù)處理方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810380325.5
• 申請(qǐng)日: 2018-04-25
• 公開（公告）號(hào): CN108563781A
• 公開（公告）日: 2018-09-21
• 發(fā)明（設(shè)計(jì)）人: 陳陽
• 申請(qǐng)（專利權(quán)）人: 廣州綠源信息科技有限公司;廣東松科智能科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F9/54
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于Hadoop的物聯(lián)網(wǎng)大數(shù)據(jù)處理方法，包括以下步驟：S1.根據(jù)產(chǎn)品生產(chǎn)過程產(chǎn)生的數(shù)據(jù)及數(shù)據(jù)的使用需求，采用源數(shù)據(jù)層進(jìn)行數(shù)據(jù)的獲取存儲(chǔ)，采用數(shù)據(jù)處理層進(jìn)行數(shù)據(jù)的并行加載存儲(chǔ)，采用數(shù)據(jù)存儲(chǔ)層實(shí)現(xiàn)為數(shù)據(jù)應(yīng)用展現(xiàn)所需數(shù)據(jù)的存儲(chǔ)；S2.通過使用HDFS存儲(chǔ)海量源數(shù)據(jù)，通過MapReduce處理海量源數(shù)據(jù)，用HBase分布式數(shù)據(jù)庫存儲(chǔ)處理后生產(chǎn)數(shù)據(jù)；S3.通過三個(gè)層面的數(shù)據(jù)流轉(zhuǎn)從而設(shè)計(jì)實(shí)現(xiàn)產(chǎn)品生產(chǎn)海量生產(chǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)；本發(fā)明根據(jù)產(chǎn)品生產(chǎn)過程的不同特點(diǎn)通過Hadoop實(shí)現(xiàn)了海量生產(chǎn)數(shù)據(jù)的存儲(chǔ)。通過HDFS實(shí)現(xiàn)了數(shù)據(jù)的一次寫入，多次讀取；通過MapReduce實(shí)現(xiàn)了充分的并行性，將作業(yè)有效分布到數(shù)據(jù)上。

技術(shù)領(lǐng)域

本發(fā)明涉及生產(chǎn)數(shù)據(jù)處理領(lǐng)域，特別涉及一種基于Hadoop的物聯(lián)網(wǎng)大數(shù)據(jù)處理方法。

背景技術(shù)

目前，國內(nèi)的產(chǎn)品生產(chǎn)類企業(yè)需要重點(diǎn)提升產(chǎn)品的自動(dòng)化、數(shù)字化、網(wǎng)絡(luò)化和智能化水平。目前的產(chǎn)品生產(chǎn)中，往往有上百個(gè)工藝參數(shù)需要逐步進(jìn)行優(yōu)化，生產(chǎn)過程出現(xiàn)了“數(shù)據(jù)豐富而知識(shí)貧乏”的現(xiàn)象逐步獲得有效解決，但隨之而來的則是企業(yè)的集成信息系統(tǒng)尤其是生產(chǎn)制造系統(tǒng)每天獲取的數(shù)據(jù)隨著應(yīng)用精度的提高呈幾何級(jí)遞增，因此在如何分發(fā)、存儲(chǔ)、管理和共享這些海量數(shù)據(jù)已成為亟待解決的問題。

因此，需要在Hadoop框架的基礎(chǔ)上，提出一種基于Hadoop的物聯(lián)網(wǎng)大數(shù)據(jù)處理方法。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是在Hadoop框架的基礎(chǔ)上，提出一種基于Hadoop的物聯(lián)網(wǎng)大數(shù)據(jù)處理方法。

本發(fā)明的基于Hadoop的物聯(lián)網(wǎng)大數(shù)據(jù)處理方法，包括以下步驟：

S1.根據(jù)產(chǎn)品生產(chǎn)過程產(chǎn)生的數(shù)據(jù)及數(shù)據(jù)的使用需求，采用源數(shù)據(jù)層進(jìn)行數(shù)據(jù)的獲取存儲(chǔ)，采用數(shù)據(jù)處理層進(jìn)行數(shù)據(jù)的并行加載存儲(chǔ)，采用數(shù)據(jù)存儲(chǔ)層實(shí)現(xiàn)為數(shù)據(jù)應(yīng)用展現(xiàn)所需數(shù)據(jù)的存儲(chǔ)。S2.通過使用HDFS存儲(chǔ)海量源數(shù)據(jù)，通過MapReduce處理海量源數(shù)據(jù)，用HBase分布式數(shù)據(jù)庫存儲(chǔ)處理后生產(chǎn)數(shù)據(jù)；S3.通過三個(gè)層面的數(shù)據(jù)流轉(zhuǎn)從而設(shè)計(jì)實(shí)現(xiàn)產(chǎn)品生產(chǎn)海量生產(chǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)。

進(jìn)一步，在所述步驟S2中，HDFSClient通過調(diào)用FileSystem對(duì)象的open()來讀取文件，DistributedFilesystem通過使用RPC來調(diào)用NameNode，以確定文件開頭部分的塊位置；

進(jìn)一步，在所述步驟S2中，對(duì)于每一個(gè)塊，NameNode返回具有該塊副本的數(shù)據(jù)節(jié)點(diǎn)；DistributedFilesystem返回一個(gè)FSDataInputStream對(duì)象給Client讀取數(shù)據(jù)；FSdataInputStream轉(zhuǎn)而包裝一個(gè)DFSInputStream對(duì)象。Client對(duì)這個(gè)輸入流調(diào)用read()；存儲(chǔ)著文件開頭部分的塊的數(shù)據(jù)節(jié)點(diǎn)地址的DFSInputStream隨即與這些塊最近的數(shù)據(jù)節(jié)點(diǎn)相連接。

進(jìn)一步，通過在數(shù)據(jù)流中反復(fù)調(diào)用read()，數(shù)據(jù)會(huì)從不同的數(shù)據(jù)節(jié)點(diǎn)返回客戶端；到達(dá)塊的末端時(shí)，DFSInputStream會(huì)close()與數(shù)據(jù)節(jié)點(diǎn)間的聯(lián)系，然后為下一個(gè)塊找到最佳的數(shù)據(jù)節(jié)點(diǎn)；Client從流中讀取datablock是按照DFSInputStream與不同的數(shù)據(jù)節(jié)點(diǎn)的新連接順序讀取的，一旦Client讀取完成，就對(duì)FileSystem輸入流調(diào)用close()，在整個(gè)過程中，Client只需要讀取一個(gè)連續(xù)的流即可獲得整體的需要分析的數(shù)據(jù)集，依次過程，Client對(duì)HDFS寫入數(shù)據(jù)到各個(gè)DataNode。

本發(fā)明的一種基于Hadoop的物聯(lián)網(wǎng)大數(shù)據(jù)處理系統(tǒng)，包括海量產(chǎn)品生產(chǎn)數(shù)據(jù)的存儲(chǔ)整體架構(gòu)，所述構(gòu)架包括：源數(shù)據(jù)層，其功能是數(shù)據(jù)的獲取存儲(chǔ)，數(shù)據(jù)處理層，其用于實(shí)現(xiàn)數(shù)據(jù)的并行加載存儲(chǔ)，數(shù)據(jù)存儲(chǔ)層，其用于實(shí)現(xiàn)為數(shù)據(jù)應(yīng)用展現(xiàn)所需數(shù)據(jù)的存儲(chǔ)。