[發明專利]基于海量數據的物聯網數據存儲處理分析系統

在審

• 申請號: 202111242760.X
• 申請日: 2021-10-25
• 公開（公告）號: CN113961562A
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 李多山;李超;李浩;劉暉
• 申請（專利權）人: 合肥聯信電源有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27
• 代理公司: 合肥正則元起專利代理事務所(普通合伙) 34160
• 代理人: 李浩宇

本發明公開了基于海量數據的物聯網數據存儲處理分析系統，涉及數據處理技術領域，包括集群搭建模塊、數據處理模塊以及數據分析模塊；集群搭建模塊用于搭建InfluxDB集群；數據處理模塊用于利用Spark處理物聯網數據，首先客戶端利用InfluxDB集群讀取物聯網數據，轉為Spark所需的數據結構，然后進行預處理；數據分析模塊用于利用Spark Streaming將分析處理后的數據不斷的送入Spark ML中訓練，不斷地迭代模型；本發明通過利用InfluxDB集群存儲時序數據，Spark處理和分析數據，從而充分利用集群能力提高處理速度，大大減少了和硬盤交換的次數，減少了任務完成所需的時間。

技術領域

本發明涉及數據處理技術領域，具體是基于海量數據的物聯網數據存儲處理分析系統。

背景技術

隨著物聯網的不斷發展，海量的物聯網數據被收集存儲，但單機的存儲容量有限，對數據的處理分析能力不足，單機或簡單的分布式方案已經不能滿足需求。

以Hadoop生態為代表的大數據技術，為不斷增長的海量數據提供了數據存儲的道路。HDFS是Hadoop生態的重要組成，實現了在普通硬件集群的水平擴展存儲數據。但利用Hadoop處理分析數據存在較大的困難，如MapReduce編程困難，對于不同的場景需要編寫不同的批處理。且Hadoop主要利用硬盤存儲計算的中間結果，需要不停從內存中換入換出數據，速度受限，不能充分利用大容量的內存。且HDFS一般用于處理非結構化數據，對于物聯網數據的存儲較為困難。此外傳統的Hadoop難以高效的實時處理數據，無法充分挖掘出數據中存在的短時有效的信息。

發明內容

為了解決上述方案存在的問題，本發明提供了基于海量數據的物聯網數據存儲處理分析系統。本發明可容易的水平擴展，解決了單機存儲容量有限和處理能力不足的問題，通過利用InfluxDB集群存儲時序數據，Spark處理和分析數據，從而充分利用集群的能力對海量的物聯網數據進行存儲，處理和分析。

本發明的目的可以通過以下技術方案實現：

基于海量數據的物聯網數據存儲處理分析系統，包括集群搭建模塊、InfluxDB集群數據庫、服務器、數據處理模塊以及數據分析模塊；

集群搭建模塊：用于搭建InfluxDB集群，其中InfluxDB集群的分布式擴展需要設計分區容錯一致性模型，針對InfluxDB中不同模塊的特點設計不同的模型；并利用一致性哈希算法保證分集群數目的可擴展性；

InfluxDB集群數據庫：用于存儲物聯網設備產生的數據；數據處理模塊：用于利用Spark處理物聯網數據，首先客戶端利用InfluxDB集群讀取物聯網數據，轉為Spark所需的數據結構，然后進行預處理；

數據分析模塊：用于利用Spark Streaming對數據處理模塊處理完成后的數據進行分析，然后將分析處理后的數據不斷的送入Spark ML中訓練，不斷地迭代模型。

進一步地，所述分區容錯一致性模型包括一致性、可用性和分區容錯性三個特性指標；其中一致性表現為：不同集群節點讀取數據內容相同或失敗；可用性表現為：客戶端訪問集群得到相應內容但不保證內容最新；分區容錯性表現為：節點間通信的消息丟失時，集群仍然正常工作。

進一步地，所述InfluxDB集群由META節點和DATA節點組成，所述META節點用于保存系統運行的關鍵信息，滿足一致性特性指標；所述關鍵信息包括數據庫名、表名、保留策略信息；所述DATA節點用于保存具體的物聯網數據，滿足可用性特性指標。

進一步地，其中META節點和DATA節點均滿足分區容錯性特性指標。

進一步地，所述數據處理模塊的具體處理流程如下：

首先客戶端建立和InfluxDB集群數據庫的連接，此時InfluxDB集群的代理節點會與客戶端建立Session，等待客戶端發送命令；