[發(fā)明專利]基于Hadoop的物聯網大數據處理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810380325.5
• 申請日: 2018-04-25
• 公開（公告）號: CN108563781A
• 公開（公告）日: 2018-09-21
• 發(fā)明（設計）人: 陳陽
• 申請（專利權）人: 廣州綠源信息科技有限公司;廣東松科智能科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/54
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于Hadoop的物聯網大數據處理方法，其特征在于：包括以下步驟：

S1.根據產品生產過程產生的數據及數據的使用需求，采用源數據層進行數據的獲取存儲，采用數據處理層進行數據的并行加載存儲，采用數據存儲層實現為數據應用展現所需數據的存儲；

S2.通過使用HDFS存儲海量源數據，通過MapReduce處理海量源數據，用HBase分布式數據庫存儲處理后生產數據；

S3.通過三個層面的數據流轉從而設計實現產品生產海量生產數據的存儲系統(tǒng)。

2.根據權利要求1所述的基于Hadoop的物聯網大數據處理系統(tǒng)，其特征在于：在所述步驟S2中，HDFS Client通過調用FileSystem對象的open()來讀取文件，DistributedFilesystem通過使用RPC來調用Name Node，以確定文件開頭部分的塊位置。

3.根據權利要求2所述的基于Hadoop的物聯網大數據處理系統(tǒng)，其特征在于：在所述步驟S2中，對于每一個塊，Name Node返回具有該塊副本的數據節(jié)點；DistributedFilesystem返回一個FSData InputStream對象給Client讀取數據；FSdata InputStream轉而包裝一個DFSInputStream對象；Client對這個輸入流調用read()；存儲著文件開頭部分的塊的數據節(jié)點地址的DFSInputStream隨即與這些塊最近的數據節(jié)點相連接。

4.根據權利要求3所述的基于Hadoop的物聯網大數據處理系統(tǒng)，其特征在于：通過在數據流中反復調用read()，數據會從不同的數據節(jié)點返回客戶端；到達塊的末端時，DFSInputStream會close()與數據節(jié)點間的聯系，然后為下一個塊找到最佳的數據節(jié)點；Client從流中讀取data block是按照DFSInputStream與不同的數據節(jié)點的新連接順序讀取的，一旦Client讀取完成，就對File System輸入流調用close()，在整個過程中，Client只需要讀取一個連續(xù)的流即可獲得整體的需要分析的數據集，依次過程，Client對HDFS寫入數據到各個Data Node。

5.一種基于Hadoop的物聯網大數據處理系統(tǒng)，其特征在于：包括海量產品生產數據的存儲整體架構，所述構架包括：

源數據層，其功能是數據的獲取存儲，

數據處理層，其用于實現數據的并行加載存儲，

數據存儲層，其用于實現為數據應用展現所需數據的存儲。