[發明專利]一種物聯網數據預處理方法及系統

在審

• 申請號: 201810840349.4
• 申請日: 2018-07-27
• 公開（公告）號: CN109063093A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 陳虹宇
• 申請（專利權）人: 重慶工商職業學院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 重慶百潤洪知識產權代理有限公司 50219
• 代理人: 劉立春

1.一種物聯網數據預處理方法，其特征在于：包括以下步驟：

S1.根據產品生產過程產生的數據及數據的使用需求，采用源數據層進行數據的獲取存儲，采用數據處理層進行數據的并行加載存儲，采用數據存儲層實現為數據應用展現所需數據的存儲；

S2.通過使用HDFS存儲海量源數據，通過MapReduce處理海量源數據，用HBase分布式數據庫存儲處理后生產數據；

S3.通過三個層面的數據流轉從而設計實現產品生產海量生產數據的存儲系統。

2.根據權利要求1所述的物聯網數據預處理方法，其特征在于：在所述步驟S2中，HDFSClient通過調用FileSystem對象的open()來讀取文件，Distributed Filesystem通過使用RPC來調用Name Node，以確定文件開頭部分的塊位置。

3.根據權利要求2所述的物聯網數據預處理方法，其特征在于：在所述步驟S2中，對于每一個塊，Name Node返回具有該塊副本的數據節點；Distributed Filesystem返回一個FSData InputStream對象給Client讀取數據；FSdata InputStream轉而包裝一個DFSInputStream對象；Client對這個輸入流調用read()；存儲著文件開頭部分的塊的數據節點地址的DFSInputStream隨即與這些塊最近的數據節點相連接。

4.根據權利要求3所述的物聯網數據預處理方法，其特征在于：通過在數據流中反復調用read()，數據會從不同的數據節點返回客戶端；到達塊的末端時，DFSInputStream會close()與數據節點間的聯系，然后為下一個塊找到最佳的數據節點；Client從流中讀取data block是按照DFSInputStream與不同的數據節點的新連接順序讀取的，一旦Client讀取完成，就對File System輸入流調用close()，在整個過程中，Client只需要讀取一個連續的流即可獲得整體的需要分析的數據集，依次過程，Client對HDFS寫入數據到各個DataNode。

5.一種物聯網數據預處理系統，其特征在于：包括海量產品生產數據的存儲整體架構，所述構架包括：

源數據層，其功能是數據的獲取存儲，

數據處理層，其用于實現數據的并行加載存儲，

數據存儲層，其用于實現為數據應用展現所需數據的存儲。