[發明專利]用于工業過程海量數據處理和存儲的評估方法

在審

• 申請號: 201810272564.9
• 申請日: 2018-03-29
• 公開（公告）號: CN108564260A
• 公開（公告）日: 2018-09-21
• 發明（設計）人: 陳新碧
• 申請（專利權）人: 重慶沐信潤喆網絡科技有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種用于工業過程海量數據處理和存儲的評估方法，它包括S1：對工業數據采集系統進行結構化建模；S2：根據模型計算工業數據處理和存儲過程的期望性能指標；S3：建立海量數據處理層、傳輸層和存儲層的策略；S4：從數據庫中提取與性能指標有關的過程參數；S5：計算實際性能指標；S6：對比期望性能指標和實際性能指標，評估工業過程各項性能。本發明取得的有益效果是：通過對各項性能的評估，有助于以后提高整個數據采集存儲過程的效率和節省存儲空間。

技術領域

本發明涉及計算機數據采集、傳輸和存儲技術領域，特別是一種用于工業過程海量數據處理和存儲的評估方法。

背景技術

在工業物聯網，多種多樣的傳感器廣泛地部署在工業生產環境中，大型工業數據采集系統要求數據采集、處理和存儲具有高并發性和高實時性。傳統的工業數據采集系統在提取海量數據、處理數據時需要花費比較多的資源和時間，并且數據存儲效率比較低，數據采集系統存在數據融合能力、拓展能力、通用能力和靈活性欠缺的問題，這些都降低了整個系統的性能指標，同時增大了系統的運行負載。

在未來的工業數據采集系統中，會產生以下的趨勢：(1)需要采集的數據量巨大；(2)需要采集的數據種類繁多；(3)將大量數據統籌分析，并將結果反饋于生產。針對現有固定模式的數據采集體系在對數據記錄高并發性和數據的海量性采集、處理和存儲能力不足，可以通過調整工業過程海量數據在處理、傳輸和存儲過程中各個環節的不同機制來進行優化，使工業海量數據采集系統更為靈活適用。

因此，亟需一種基于工業現場的海量數據采集過程的優化執行估算方法。

發明內容

有鑒于現有技術的上述缺陷，本發明的目的就是提供一種用于工業過程海量數據處理和存儲的評估方法，通過評估，有助于提高整個數據采集存儲過程的效率和節省了存儲空間。

本發明的目的是通過這樣的技術方案實現的，一種用于工業過程海量數據處理和存儲的評估方法，具體步驟如下：

S1：對工業數據采集系統進行結構化建模；

S2：根據模型計算工業數據處理和存儲過程的期望性能指標；

S3：建立海量數據處理層、傳輸層和存儲層的策略；

S4：從數據庫中提取與性能指標有關的過程參數；

S5：計算實際性能指標；

S6：對比期望性能指標和實際性能指標，對數據處理和存儲機制進行評估。

進一步，所述步驟S1的具體步驟如下：

S11：定義工業過程數據采集流程中的關鍵進程；

S12：明確工業過程數據采集流程之間的時間和空間關系；

S13：分別對數據處理、傳輸和存儲中的各個關鍵進程進行建模。

進一步，所述步驟S2的具體步驟如下：

S21：確定影響工業過程數據處理和存儲的各項性能指標；

S22：通過對關鍵進程的模型進行優化并提取關鍵參數，根據關鍵參數與性能指標之間的數學公式計算期望性能指標，或者直接根據需求定義期望性能指標。

進一步，所述步驟S3中建立海量數據處理層的策略具體步驟如下：

S31：判斷從各個傳感器接收到的數據類型，按常見的工業數據結構進行分類后按分布式處理；

S32：根據工業現場的數據格式要求，建立原始數據與工業過程參考標準數據的處理規則，設置不同類別數據的標準輸出格式；

S33：將工業系統中的海量原始數據進行數據正確性測試、數據過濾、數據分類集成、數據格式轉換輸出。