[發(fā)明專利]一種物聯(lián)網(wǎng)數(shù)據(jù)預(yù)處理方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810840349.4
• 申請(qǐng)日: 2018-07-27
• 公開(kāi)（公告）號(hào): CN109063093A
• 公開(kāi)（公告）日: 2018-12-21
• 發(fā)明（設(shè)計(jì)）人: 陳虹宇
• 申請(qǐng)（專利權(quán)）人: 重慶工商職業(yè)學(xué)院
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 重慶百潤(rùn)洪知識(shí)產(chǎn)權(quán)代理有限公司 50219
• 代理人: 劉立春

本發(fā)明公開(kāi)了一種物聯(lián)網(wǎng)數(shù)據(jù)預(yù)處理方法，包括以下步驟：S1.根據(jù)產(chǎn)品生產(chǎn)過(guò)程產(chǎn)生的數(shù)據(jù)及數(shù)據(jù)的使用需求，采用源數(shù)據(jù)層進(jìn)行數(shù)據(jù)的獲取存儲(chǔ)，采用數(shù)據(jù)處理層進(jìn)行數(shù)據(jù)的并行加載存儲(chǔ)，采用數(shù)據(jù)存儲(chǔ)層實(shí)現(xiàn)為數(shù)據(jù)應(yīng)用展現(xiàn)所需數(shù)據(jù)的存儲(chǔ)；S2.通過(guò)使用HDFS存儲(chǔ)海量源數(shù)據(jù)，通過(guò)MapReduce處理海量源數(shù)據(jù)，用HBase分布式數(shù)據(jù)庫(kù)存儲(chǔ)處理后生產(chǎn)數(shù)據(jù)；S3.通過(guò)三個(gè)層面的數(shù)據(jù)流轉(zhuǎn)從而設(shè)計(jì)實(shí)現(xiàn)產(chǎn)品生產(chǎn)海量生產(chǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)；本發(fā)明根據(jù)產(chǎn)品生產(chǎn)過(guò)程的不同特點(diǎn)通過(guò)Hadoop實(shí)現(xiàn)了海量生產(chǎn)數(shù)據(jù)的存儲(chǔ)。通過(guò)HDFS實(shí)現(xiàn)了數(shù)據(jù)的一次寫(xiě)入，多次讀取；通過(guò)MapReduce實(shí)現(xiàn)了充分的并行性，將作業(yè)有效分布到數(shù)據(jù)上。

技術(shù)領(lǐng)域

本發(fā)明涉及物聯(lián)網(wǎng)數(shù)據(jù)處理領(lǐng)域，特別涉及一種物聯(lián)網(wǎng)數(shù)據(jù)預(yù)處理方法及系統(tǒng)。

背景技術(shù)

目前，物聯(lián)網(wǎng)系統(tǒng)廣泛的應(yīng)用在現(xiàn)代產(chǎn)品生產(chǎn)系統(tǒng)中，國(guó)內(nèi)的產(chǎn)品生產(chǎn)類企業(yè)需要重點(diǎn)提升產(chǎn)品的自動(dòng)化、數(shù)字化、網(wǎng)絡(luò)化和智能化水平。目前的產(chǎn)品生產(chǎn)中，往往有上百個(gè)工藝參數(shù)需要逐步進(jìn)行優(yōu)化，生產(chǎn)過(guò)程出現(xiàn)了“數(shù)據(jù)豐富而知識(shí)貧乏”的現(xiàn)象逐步獲得有效解決，但隨之而來(lái)的則是企業(yè)的集成信息系統(tǒng)尤其是生產(chǎn)制造系統(tǒng)每天獲取的數(shù)據(jù)隨著應(yīng)用精度的提高呈幾何級(jí)遞增，因此在如何分發(fā)、存儲(chǔ)、管理和共享這些海量物聯(lián)網(wǎng)數(shù)據(jù)已成為亟待解決的問(wèn)題。

因此，需要在Hadoop框架的基礎(chǔ)上，提出一種物聯(lián)網(wǎng)數(shù)據(jù)預(yù)處理方法。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是在Hadoop框架的基礎(chǔ)上，提出一種物聯(lián)網(wǎng)數(shù)據(jù)預(yù)處理方法及系統(tǒng)。

本發(fā)明的基于Hadoop的物聯(lián)網(wǎng)大數(shù)據(jù)處理方法，包括以下步驟：

S1.根據(jù)產(chǎn)品生產(chǎn)過(guò)程產(chǎn)生的數(shù)據(jù)及數(shù)據(jù)的使用需求，采用源數(shù)據(jù)層進(jìn)行數(shù)據(jù)的獲取存儲(chǔ)，采用數(shù)據(jù)處理層進(jìn)行數(shù)據(jù)的并行加載存儲(chǔ)，采用數(shù)據(jù)存儲(chǔ)層實(shí)現(xiàn)為數(shù)據(jù)應(yīng)用展現(xiàn)所需數(shù)據(jù)的存儲(chǔ)。S2.通過(guò)使用HDFS存儲(chǔ)海量源數(shù)據(jù)，通過(guò)MapReduce處理海量源數(shù)據(jù)，用HBase分布式數(shù)據(jù)庫(kù)存儲(chǔ)處理后生產(chǎn)數(shù)據(jù)；S3.通過(guò)三個(gè)層面的數(shù)據(jù)流轉(zhuǎn)從而設(shè)計(jì)實(shí)現(xiàn)產(chǎn)品生產(chǎn)海量生產(chǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)。

進(jìn)一步，在所述步驟S2中，HDFS Client通過(guò)調(diào)用FileSystem對(duì)象的open()來(lái)讀取文件，Distributed Filesystem通過(guò)使用RPC來(lái)調(diào)用Name Node，以確定文件開(kāi)頭部分的塊位置；

進(jìn)一步，在所述步驟S2中，對(duì)于每一個(gè)塊，Name Node返回具有該塊副本的數(shù)據(jù)節(jié)點(diǎn)；Distributed Filesystem返回一個(gè)FSData InputStream對(duì)象給Client讀取數(shù)據(jù)；FSdata InputStream轉(zhuǎn)而包裝一個(gè)DFSInputStream對(duì)象。Client對(duì)這個(gè)輸入流調(diào)用read()；存儲(chǔ)著文件開(kāi)頭部分的塊的數(shù)據(jù)節(jié)點(diǎn)地址的DFSInputStream隨即與這些塊最近的數(shù)據(jù)節(jié)點(diǎn)相連接。

進(jìn)一步，通過(guò)在數(shù)據(jù)流中反復(fù)調(diào)用read()，數(shù)據(jù)會(huì)從不同的數(shù)據(jù)節(jié)點(diǎn)返回客戶端；到達(dá)塊的末端時(shí)，DFSInputStream會(huì)close()與數(shù)據(jù)節(jié)點(diǎn)間的聯(lián)系，然后為下一個(gè)塊找到最佳的數(shù)據(jù)節(jié)點(diǎn)；Client從流中讀取data block是按照DFSInputStream與不同的數(shù)據(jù)節(jié)點(diǎn)的新連接順序讀取的，一旦Client讀取完成，就對(duì)File System輸入流調(diào)用close()，在整個(gè)過(guò)程中，Client只需要讀取一個(gè)連續(xù)的流即可獲得整體的需要分析的數(shù)據(jù)集，依次過(guò)程，Client對(duì)HDFS寫(xiě)入數(shù)據(jù)到各個(gè)Data Node。

本發(fā)明的一種物聯(lián)網(wǎng)數(shù)據(jù)預(yù)處理系統(tǒng)，包括海量產(chǎn)品生產(chǎn)數(shù)據(jù)的存儲(chǔ)整體架構(gòu)，所述構(gòu)架包括：源數(shù)據(jù)層，其功能是數(shù)據(jù)的獲取存儲(chǔ)，數(shù)據(jù)處理層，其用于實(shí)現(xiàn)數(shù)據(jù)的并行加載存儲(chǔ)，數(shù)據(jù)存儲(chǔ)層，其用于實(shí)現(xiàn)為數(shù)據(jù)應(yīng)用展現(xiàn)所需數(shù)據(jù)的存儲(chǔ)。