[發明專利]一種基于Spark計算框架的動能數據處理系統及方法

有效

• 申請號: 202010010196.8
• 申請日: 2020-01-06
• 公開（公告）號: CN111177276B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 葉志暉;王文娟;張成挺;錢杰
• 申請（專利權）人: 浙江中煙工業有限責任公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25;G06F16/215;G06F9/54;G06Q50/04
• 代理公司: 杭州豐禾專利事務所有限公司 33214
• 代理人: 徐金杰

本發明涉及一種基于Spark計算框架的動能數據處理系統，包括用于監測工業車間動能數據的數據采集模塊、對發布至Kafka消息隊列的數據流進行數據計算的數據處理分析模塊以及分布式數據存儲模塊。考慮到數據采集終端的多種多樣，Kafka集群設置有可接入多種數據采集終端的功能接口，以此建立了靈活可擴展的數據采集系統，避免了多個數據終端接入的問題。其次，由于所需處理的檢測數據量大，采用流計算對來自Kafka消息隊列的流數據做加工處理，可以大大提高計算性能。再次，工業車間對設備運行的決策要求處理分析數據的實時性高，因而對數據采用分布式的存儲方式。

技術領域

本發明涉及對車間各類設備的動能數據處理技術領域，具體涉及一種基于Spark計算框架的動能數據處理系統及方法。

背景技術

卷煙廠動力車間設備會產生海量的動能數據，為了降低生產成本及提高生產質量，需要對這些動能數據進行采集、處理和分析。而在大數據技術的飛速增長過程中會有如下問題：

（1）由于數據量的龐大以及需要對接多方位的系統數據，并不能很好的對這些數據進行采集；

（2）大量的數據在傳輸過程中也會由于信道質量等多樣性、復雜性、各種不確定的因素引入不滿足質量要求的噪聲數據，如異常、錯誤、重復以及缺失數據等，使得后續數據的分析環節的結果數據準確性降低；

（3）終端可視化的數據檢索實時性不高。針對上述問題，本發明建立了一個靈活可擴展的數據采集系統，在數據存儲前采用基于Spark 計算框架對數據進行清洗，并對處理后的數據采用分布式的存儲方式，最終保證數據的完整性和可靠性。

發明內容

為了解決上述的技術問題，本發明的第一個目的是提供一種基于Spark 計算框架的動能數據處理系統，該系統采用分布式的存儲方式、具有靈活可擴展的數據采集系統，且能大大提高計算性能，本發明的第二個目的是提供一種基于Spark 計算框架的動能數據處理方法。

為了實現上述第一個目的，本發明采用了以下的技術方案：

一種基于Spark 計算框架的動能數據處理系統，包括數據采集模塊、數據處理分析模塊和數據存儲模塊；所述數據采集模塊內置多個傳感器節點，用來對MES、能管、動力集控、設備管理等各系統的數據的采集，以獲取卷煙廠動力車間各類動能監測數據；所述數據處理分析模塊包括數據接入模塊、數據緩存模塊和實時計算模塊，根據應用場景對動能數據進行實時計算和離線分析；所述數據存儲模塊采用基于Spark 計算框架將清洗后的數據存于對應的數據庫中。

作為優選方案：所述數據處理分析模塊對進入 Kafka 的所有采集的數據采用各種方法進行數據的清洗，包括對數據依次進行重復值、錯誤值、異常值以及缺失值的清洗，為數據分析提供符合要求的基礎數據。

作為優選方案：所述數據存儲模塊提高大數據存儲與關系數據庫相結合對原始數據、過程數據進行分布式文件存儲的同時，將結果保存至關系型數據庫Oracle 中，并通過sqoop 實現分布式文件系統與關系型數據庫之間的數據傳遞。

為了實現上述第二個目的，本發明采用了以下的技術方案：

一種基于 Spark 計算框架的動能數據處理方法，采用上述的處理系統，步驟如下：

步驟 1：由無線傳感器接收動能數據，對各動能設備的監控數據進行不同主題分區，利用 kafka 消息隊列服務，將數據以流的形式發布至緩沖池；

步驟 2：啟動Kafka 消息隊列集群的用戶接入功能，接入用戶向系統發布的任務；

步驟 3：構建包括消息生產者、消息緩存節點和消息消費者的Kafka 集群，并對Kafka集群節點進行主題分區；