[發明專利]一種基于工業大數據的云平臺數據管理系統及其構建方法

在審

• 申請號: 201610079827.5
• 申請日: 2016-02-03
• 公開（公告）號: CN105488235A
• 公開（公告）日: 2016-04-13
• 發明（設計）人: 趙俊濤;李鵬飛;胡尊亭
• 申請（專利權）人: 蘇州見微物聯網科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于工業大數據的云平臺數據管理系統，其特征在于：所 述的云平臺數據管理系統包括數據采集系統、工業現場數據模塊、 Hadoop集群模塊、數據聚合模塊、數據分發模塊和數據持久存儲模 塊，其中，所述的工業現場數據模塊位于數據采集系統中，所述的數 據采集系統將采集到的非結構化工業數據傳輸給工業現場數據模塊， 所述的工業現場數據模塊與所述的Hadoop集群模塊連接，所述的 Hadoop集群模塊與所述的數據聚合模塊連接，所述的Hadoop集群模 塊將處理后的數據發送給所述的數據聚合模塊；所述的數據聚合模塊 與所述的數據分析模塊連接，所述的數據聚合模塊將處理后的數據發 送給所述的數據分析模塊進行分析；所述的數據分發模塊與所述的數 據持久存儲模塊連接，所述的數據分發模塊將接收到的數據分配到數 據持久存儲模塊中。

2.根據權利要求1所述的一種基于工業大數據的云平臺數據管理 系統，其特征在于：所述的云平臺數據管理系統還包括安全模塊，所 述的安全模塊分別與所述的Hadoop集群模塊、所述的數據聚合模塊、 所述的數據分發模塊、所述的數據持久存儲模塊連接。

3.根據權利要求1或2所述的一種基于工業大數據的云平臺數據管 理系統，其特征在于：所述的Hadoop集群模塊包括數據結構化模塊、 數據除錯模塊、數據去重模塊、數據整合模塊，各模塊之間串聯連接。

4.根據權利要求1或2所述的一種基于工業大數據的云平臺數據 管理系統，其特征在于：所述的數據聚合模塊包括數據聚類模塊、數 據耦合模塊和數據壓縮模塊；所述的數據聚類模塊與所述的數據耦合 模塊連接，所述的數據耦合模塊與所述的數據壓縮模塊連接。

5.一種根據上述權利要求1-4的一種基于工業大數據的云平臺數 據管理系統的構建方法，包括以下步驟：

S1.所述的數據采集系統采集工業現場數據，并將采集到的數據傳輸 給工業現場數據模塊；

S2.所述的工業現場數據模塊將接收到的非結構化工業數據進行結 構化處理并生成半結構化數據，然后將所述的半結構化數據通過網絡 傳輸給所述的Hadoop集群模塊；

S3.所述的Hadoop集群模塊處理所述的半結構化數據，并發送給所述 的數據聚合模塊；

S4.所述的數據聚合模塊處理相應的數據，并發送給所述的數據分發 模塊；

S5.所述的數據分發模塊將接收到的數據分配到數據持久存儲模塊 中。

6.根據權利要求5所述的一種基于工業大數據的云平臺數據管 理系統的構建方法，其特征在于：所述的構建方法還包括步驟S6：所 述的云平臺數據管理系統還包括安全模塊，所述的安全模塊與各個處 理模塊進行通信，保證數據的安全性。

7.根據權利要求5所述的一種基于工業大數據的云平臺數據管理 系統的構建方法，其特征在于：所述的步驟S3包括，所述的Hadoop 集群模塊還包括數據結構化模塊、數據除錯模塊、數據去重模塊、數 據整合模塊，首先，所述的數據結構化模塊結構化處理接收到的所述 的半結構化數據，生成結構化數據；所述的數據除錯模塊去除錯誤的 結構化數據，所述的數據去重模塊排除重復的結構化數據，所述的數 據整合模塊整合所述數據除錯模塊和所述數據去重模塊模塊處理后 的數據。

8.根據權利要求5所述的一種基于工業大數據的云平臺數據管理 系統的構建方法，其特征在于：所述的步驟S4包括，所述的數據聚合 模塊包括數據聚類模塊、數據耦合模塊和數據壓縮模塊；所述的數據 聚類模塊將相似的數據聚集在一起，生成相似數據類，所述的數據耦 合模塊整合所述的相似數據類，優化所述相似數據類的數據；所述的 數據壓縮模塊調用數據壓縮算法壓縮所述相似數據類的數據。