[發明專利]一種服務于工業互聯數據采集存儲的壓縮方法

有效

• 申請號: 202010091060.4
• 申請日: 2020-02-13
• 公開（公告）號: CN111294054B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 楊更新;吳浩峰
• 申請（專利權）人: 北京天拓智領科技有限公司
• 主分類號: H03M7/30
• 分類號: H03M7/30
• 代理公司: 北京八月瓜知識產權代理有限公司 11543
• 代理人: 李斌

本發明公開了一種服務于工業互聯數據采集存儲的壓縮方法，屬于數據壓縮領域，包括以下步驟：S1：在平臺定義范圍值、范圍百分比、最長間隔及最短間隔，S2：根據判斷最長間隔——范圍計算——判斷最短間隔的流程進行分析處理，S3：將上述經過處理流程的數據進行儲存。該方法在技術上實現了動態配置，合理地提升壓縮命中率，精進特征數據的篩選，將運算量降到最低標準、保證運算效率最高；在經濟上實現了資源可控性，根據需求自由配置，將資源使用盡可能降低的同時，兼顧數據的合理性和完整性；在性能上實現了動態適配，通過分布式架構，實現水平擴展，根據不同的數據規模進行動態適配，大大提升采集存儲性能。

技術領域

本發明涉及數據壓縮領域，具體為一種服務于工業互聯數據采集存儲的壓縮方法。

背景技術

數據壓縮基本上是擠壓數據使得它占用更少的磁盤存儲空間和更短的傳輸時間。壓縮的依據是數字數據中包含大量的重復，它將這些重復信息用占用空間較少的符號或代碼來代替，以到達減少容量目的。

CN201610785231.7一種基于工業過程的大數據壓縮方法，涉及工業大數據分析技術領域。本發明通過對采集的生產數據按數據塊和采集數據項進行壓縮，根據采集數據項的類別，對浮點型、布爾型和字符型的采集數據分別進行處理，判定浮點型數值波動范圍和比較布爾型、字符型相鄰數據的變化來決定需要壓縮的保存的數據。本發明既能有效改善工業過程中因時間的增加后采集數據項的數值發生偏移導致壓縮結果偏差過大的問題，又能減少壓縮后的采集數據項所占空間的大小，提高壓縮效率，使工業數據庫系統快速、有效地管理數據。

而當前工業數據采集正在向著多通道、高精度、高速高效的處理大容量采集數據的方向發展，而這導致在生產、測試和檢測過程中有大量的數據才數據采集系統中產生，為解決大量數據在傳輸和存儲中占用大量資源的問題，需采用數據壓縮存儲技術?，F有的壓縮存儲技術多是根據固定值來提升壓縮比。

但是，現有的壓縮方法在平臺上進行大規模數據壓縮時存在一些缺陷，壓縮命中率低，無法保證運算量的動態壓縮以及壓縮規模有限。

為此，提出一種服務于工業互聯數據采集存儲的壓縮方法。

發明內容

本發明的目的在于提供一種服務于工業互聯數據采集存儲的壓縮方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種服務于工業互聯數據采集存儲的壓縮方法，包括以下步驟：

S1：在平臺定義范圍值、范圍百分比、最長間隔及最短間隔；

S2：根據判斷最長間隔——范圍計算——判斷最短間隔的流程進行分析處理，具體處理流程如下：

A：第一、二條數據進入到處理流中，分別記為起始點和中間點，此時流中數據并未大于2條，不進行計算處理；

起始點為數據處理流里的第一個點，即為point1，點值為起始値，即value1，時間為起始時間戳，即time1；中間點為數據處理流里的第二個點，即為point2，點值為中間値，即value2，時間為中間時間戳，即time2；

B：第三條數據進入到處理流中，記為當前點，此時流中數據大于2條，進行計算處理；

當前點為數據處理流里的第三個點，即為point3，點值為當前値，即value3，時間為當前時間戳，即time3；

C：首先，判斷time3與time1相差是否大于最長間隔；

是:直接存儲point1,并將其從處理流中清除，point2變為起始點，point3變為中間點，結束；

否:繼續執行下面程序；

D：根據偏差值劃定范圍，判斷中間值是否在上下限內；