[發明專利]基于Web的大型工業系統反饋數據實時處理方法及系統

有效

• 申請號: 201410228031.2
• 申請日: 2014-05-27
• 公開（公告）號: CN103970903B
• 公開（公告）日: 2017-05-24
• 發明（設計）人: 張可;柴毅;汪嘉文;江聰美;焦春曉
• 申請（專利權）人: 重慶大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京眾合誠成知識產權代理有限公司11246
• 代理人: 龔燮英

技術領域

本發明涉及IT領域及系統領域的平臺構件技術領域，特別涉及一種基于Web的大型工業系統反饋數據實時處理平臺架構及應用。

背景技術

現有的工業系統反饋數據實時處理平臺普遍存在數據采集成本高、實時性較低、用戶體驗度差等問題，同時大部分應用于C/S模式，再將此方法應用于并發性強、實時性要求高的大型工業系統中問題就會更加的凸顯。大型工業系統反饋數據要求采集和處理具有高并發性、高實時性，提取海量數據處理需要花費比較多的資源和時間，并且數據存儲效率比較慢，這些都降低了整個系統的實時性，同時增大了系統的運行負載。

因此急需一種基于Web的大型工業系統反饋數據實時處理方法及系統。

發明內容

有鑒于此，本發明所要解決的技術問題是提供一種基于Web的大型工業系統反饋數據實時處理方法及系統。

本發明的目的之一是提出一種基于Web的大型工業系統反饋數據實時處理方法；本發明的目的之二是提出一種基于Web的大型工業系統反饋數據實時處理系統。

本發明的目的之一是通過以下技術方案來實現的：

本發明提供的基于Web的大型工業系統反饋數據實時處理方法，包括以下步驟：

S1：建立用于采集工業現場設備的工業系統原始數據的底層數據層；

S2：建立用于將底層數據層中所采集的工業系統原始數據進行分布數據處理的數據處理層，同時建立用于實時數據訪問與歷史數據檢索優化的時間戳；

S3：建立對工業系統原始數據進行動態分頁存儲的數據分發層，在數據分發層建立同步更新模塊與檢索服務模塊。

進一步，所述數據處理層的建立包括以下步驟：

S21：建立預處理模塊，所述預處理模塊用于對采集到的工業系統原始數據進行拆分、數據合法性驗證、不同數據邏輯關聯提取和數據格式轉換；

S22：建立引擎模塊，所述引擎模塊用于調度處理線程、分配線程與模塊控制管理；

S23：建立分庫存儲模塊，所述分庫存儲的方式采用分布式內存數據庫系統和分布式磁盤數據庫；

所述分布式內存數據庫系統用于實現實時數據訪問；

所述分布式磁盤數據庫包括同步更新模塊和檢索服務模塊；

所述同步更新模塊，用于斷電時通過實時表來保存內存數據庫中的實時數據；

所述檢索服務模塊，用于保存歷史記錄數據。

進一步，所述數據分發層的建立包括建立同步更新模塊與建立檢索服務模塊；

所述同步更新模塊，按照數據處理層中建立的分布式內存數據庫的配置信息，在磁盤數據庫中給每個參數同步建立一條實時更新的記錄；根據引擎模塊中的處理標志位來識別原數據源是否被處理過；

所述檢索服務模塊，實時更新記錄來判斷經過數據預處理層處理后的表征設備實時狀態的數據是否發生變化，如果數據發生變化則存入歷史數據表，所述歷史數據表存儲于分布式磁盤數據庫，歷史數據表的分類根據數據處理層中提取出的映射關系信息進行分類，當記錄數達到預設條數時同步建立第二張數據表，在數據達到預設規模時對歷史數據表進行備份清空。

進一步，所述底層數據層的工業系統原始數據是指工業現場的所有設備的運行狀態參數與實時參數值，所述工業現場設備包括傳感器設備、供電子系統、消防子系統和電梯子系統。

進一步，所述分布式磁盤數據庫為外部數據庫服務器；所述同步更新模塊與檢索服務模塊的所有操作均設置在磁盤數據庫中進行。

本發明的目的之二是通過以下技術方案來實現的：

本發明提供的基于Web的大型工業系統反饋數據實時處理系統，包括底層數據層、數據處理層和數據分發層；

所述底層數據層，用于采集工業現場設備的工業系統原始數據的；

所述數據處理層，用于將底層數據層中所采集的工業系統原始數據進行分布數據處理，同時建立用于實時數據訪問與歷史數據檢索優化的時間戳；

所述數據分發層，用于對工業系統原始數據進行動態分頁存儲。

進一步，所述數據處理層包括預處理模塊、引擎模塊、分庫存儲模塊；

所述預處理模塊，所述預處理模塊用于對采集到的工業系統原始數據進行拆分、數據合法性驗證、不同數據邏輯關聯提取、數據格式轉換；

所述引擎模塊，所述引擎模塊用于調度處理線程、分配線程與模塊控制管理；

所述分庫存儲模塊，所述分庫存儲的方式采用分布式內存數據庫系統和分布式磁盤數據庫；

所述分布式內存數據庫系統用于實現實時數據訪問；