[發明專利]一種工業過程工況數據快速隨機分布存儲方法

有效

• 申請號: 201810270738.8
• 申請日: 2018-03-29
• 公開（公告）號: CN108491167B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 張可;柴毅;鄭雯;胡月;張悅
• 申請（專利權）人: 重慶大學
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/174
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 胡柯

一種工業過程工況數據快速隨機分布存儲方法,以一個主數據服務器作為數據中心，以多個從數據服務器作為數據節點，每個數據節點均與數據中心數據交互，具體步驟如下：S1:采集設備運行工況數據進行預處理后存入數據中心緩存，并在緩存中對數據種類進行編號；S2:對采集到的工況數據進行去冗余處理；S3:計算每種數據的量占總數據量的比重P_i；S4:設置閾值向量P′₁,P′₂,...,P′_i；S5:通過比較P_i與閾值向量，將該種數據存入不同的從服務器中。本發明所述的工業過程工況數據快速隨機分布存儲模式，提高了信息錄入速度并降低了系統的運行負載。

技術領域

本發明涉及計算機數據數據信息存儲技術領域，特別涉及一種工業過程工況數據快速隨機分布存儲模式。

背景技術

工業過程工況數據是指在工業領域信息化應用中產生的數據。工業過程工況數據運用先進大數據技術，貫穿于工業的設計、工藝、生產、管理、服務等各個環節，使工業系統具備描述、診斷、預測、決策、控制等智能化功能。工業過程工況數據具有數據體量大、分布廣泛、結構復雜、速度需求多樣化、數據價值不均勻五大特征。

現有的工業過程工況數據存儲系統結合內存數據庫和磁盤歷史數據庫存儲實時歷史數據，存在數據采集成本高、實時性不高、數據丟失、用戶體驗差等問題，應用于實時性要求高、數據量不可預知、并發性強的大型工業系統中情況會更加嚴峻。工業過程工況數據的采集和處理具有高并發性、高實時性，提取海量數據處理需要花費比較多的資源和時間，并且數據存儲效率比較慢，這些都降低了整個系統的實時性，同時增大了系統的運行負載。這就導致存儲服務器成為了系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足工業過程工況數據存儲應用的需要。

發明內容

本發明的目的就是提供一種工業過程工況數據快速隨機分布存儲方法，提高了工況數據錄入效率，滿足工業過程工況數據并發性強、實時性高、數據量巨大的要求；并兼具有節約內存空間，降低系統運行負載和整體功耗的作用。

本發明的目的是通過這樣的技術方案實現的，包括有以一個主數據服務器作為數據中心，以多個從數據服務器作為數據節點，數據中心分別與每個數據節點數據交互，具體步驟如下：

1)采集設備運行工況數據進行預處理后存入數據中心緩存，并在緩存中對數據種類進行編號；

2)對緩存中的工況數據進行去冗余處理；

3)計算每種數據的量占總數據量的比重∑P_i＝1，其中S_i為某類數據量，S為總數據量；

4)設置閾值向量P′₁,P′₂,...,P′_i，0＜P′₁＜...＜P′_n＜1，并設定n₁，n₂，...，n_k的值，其中n₁，n₂，...，n_k均為大于0的整數，其中閾值向量和n_i根據實際需要設置不同的個數和數值大小；

5)比較P_i與P′₁,P′₂,...,P′_i的大?。喝鬚′_i＜P′₁，則n₁種數據存入同一從服務器中；若P′₁＜P_i＜P′₂，則n₂種數據存入同一從服務器中；依次類推，若P_i＞P′_i，則該種數據存入n_k個從服務器中。

進一步，步驟1)中所述在緩存中對數據種類進行編號的具體步驟如下：