[發明專利]基于海量數據的物聯網數據存儲處理分析系統

在審

• 申請號: 202111242760.X
• 申請日: 2021-10-25
• 公開（公告）號: CN113961562A
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 李多山;李超;李浩;劉暉
• 申請（專利權）人: 合肥聯信電源有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27
• 代理公司: 合肥正則元起專利代理事務所(普通合伙) 34160
• 代理人: 李浩宇

1.基于海量數據的物聯網數據存儲處理分析系統，其特征在于，包括集群搭建模塊、InfluxDB集群數據庫、服務器、數據處理模塊以及數據分析模塊；

集群搭建模塊：用于搭建InfluxDB集群，其中InfluxDB集群的分布式擴展需要設計分區容錯一致性模型，針對InfluxDB中不同模塊的特點設計不同的模型；并利用一致性哈希算法保證分集群數目的可擴展性；

InfluxDB集群數據庫：用于存儲物聯網設備產生的數據；數據處理模塊：用于利用Spark處理物聯網數據，首先客戶端利用InfluxDB集群讀取物聯網數據，轉為Spark所需的數據結構，然后進行預處理；

數據分析模塊：用于利用Spark Streaming對數據處理模塊處理完成后的數據進行分析，然后將分析處理后的數據不斷的送入Spark ML中訓練，不斷地迭代模型。

2.根據權利要求1所述的基于海量數據的物聯網數據存儲處理分析系統，其特征在于，所述分區容錯一致性模型包括一致性、可用性和分區容錯性三個特性指標；其中一致性表現為：不同集群節點讀取數據內容相同或失敗；可用性表現為：客戶端訪問集群得到相應內容但不保證內容最新；分區容錯性表現為：節點間通信的消息丟失時，集群仍然正常工作。

3.根據權利要求2所述的基于海量數據的物聯網數據存儲處理分析系統，其特征在于，所述InfluxDB集群由META節點和DATA節點組成，所述META節點用于保存系統運行的關鍵信息，滿足一致性特性指標；所述關鍵信息包括數據庫名、表名、保留策略信息；所述DATA節點用于保存具體的物聯網數據，滿足可用性特性指標。

4.根據權利要求3所述的基于海量數據的物聯網數據存儲處理分析系統，其特征在于，其中META節點和DATA節點均滿足分區容錯性特性指標。

5.根據權利要求1所述的基于海量數據的物聯網數據存儲處理分析系統，其特征在于，所述數據處理模塊的具體處理流程如下：

首先客戶端建立和InfluxDB集群數據庫的連接，此時InfluxDB集群的代理節點會與客戶端建立Session，等待客戶端發送命令；

所述客戶端根據任務發送查詢數據的命令，所述InfluxDB集群的代理節點根據查詢的內容將查詢任務分派到不同的節點，每個節點根據命令，查找相應的數據并返回；

客戶端接收到InfluxDB集群返回的數據，并轉為Spark所需的數據類型，Spark將數據保存在內存中；

所述客戶端按照編寫好的代碼對內存中的數據進行預處理，所述預處理包括：篩選符合條件的數據、數據類型的轉化以及正則化。

6.根據權利要求5所述的基于海量數據的物聯網數據存儲處理分析系統，其特征在于，所述數據處理模塊還用于將預處理后的數據存儲在HDFS中，供其他版本的程序或模型使用；其中預處理后的數據是非結構化數據。

7.根據權利要求1所述的基于海量數據的物聯網數據存儲處理分析系統，其特征在于，所述數據分析模塊的具體分析步驟如下：

首先將服務器接收的數據存入消息隊列中，然后再存入InfluxDB集群數據庫中；消息隊列不斷的將數據輸入到Spark Streaming中；

Spark不斷的接收實時的輸入數據流，并根據預定的時間間隔拆分成若干批數據，然后通過Spark Engine處理這些數據，最終得到處理后的若干批結果數據，然后將處理后的若干批結果數據不斷的送入Spark ML中訓練，不斷地迭代模型。

8.根據權利要求7所述的基于海量數據的物聯網數據存儲處理分析系統，其特征在于，所述數據分析模塊還用于使用ML Pipeline構建機器學習應用，不間斷的對數據處理并送入Spark ML中訓練，不斷地迭代模型。