[發明專利]一種高壓縮比的工業實時數據壓縮方法

有效

• 申請號: 201110344281.9
• 申請日: 2011-11-03
• 公開（公告）號: CN102437854A
• 公開（公告）日: 2012-05-02
• 發明（設計）人: 詹惠琴;溫李慧;趙輝;古軍;康波;陶宇翔;歐陽平
• 申請（專利權）人: 電子科技大學
• 主分類號: H03M7/30
• 分類號: H03M7/30
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平

技術領域

本發明屬于數據壓縮技術領域，更為具體地講，涉及一種高壓縮比的工業實時數據壓縮方法。

背景技術

1、數據壓縮概述

數據壓縮技術在圖像，音頻處理等領域已有非常廣泛的應用，技術日趨先進成熟并已形成了國際化標準，如圖像處理領域的JEPG壓縮技術，音頻處理中的MP3壓縮技術等。但是由于現代存儲設備容量的不斷增大，在工業自動化領域則應用的較少，在電力系統、故障檢測與診斷系統、過程控制、過程監測、多通道數據采集系統等會產生海量實時和歷史數據的自動化系統中，數據壓縮還沒有得到廣泛的重視和應用。在多通道自動測試系統中數據一般由數據采集模塊采集得到，采集的信號一般為傳感器信號，目前的數據采集模塊采樣頻率都較高，例如總采樣速率為100KHz，則如果系統為16個通道，單個通道每秒可采集62次，現行更高的從幾十MHz到幾十GHz不等的采集模塊比這個次數還要高的多，這樣每秒就可產生大量高精度的浮點數據，面對海量的存儲數據，人們解決的辦法只是單純的增加存儲設備，而很少應用數據壓縮技術對其中大量的冗余數據進行壓縮，以達到減少數據量，節約存儲設備的目的。

2.現有工業實時數據壓縮方法

數據壓縮根據不同編碼對原始文件數據產生的不同損失效果，可把數據壓縮技術分為無損壓縮和有損壓縮。無損壓縮一般以通用壓縮理論為基礎，采取哈佛曼算法等經典的壓縮算法，具有無失真、無差錯或無噪聲編碼的性質。有損壓縮是在壓縮過程中損失一定的信息以獲得較高的壓縮比。有損壓縮雖然不能完全恢復原始數據，但損失的數據對理解原始數據的信息影響不大，并由此獲得較大的壓縮比，從而節約大量存儲空間。

目前比較有效并且應用較多的工業實時數據壓縮方法主要有穩態閾值法，即死區算法，旋轉門算法，線性外插算法，這三種方法均屬于有損壓縮。

2.1穩態閾值法

穩態閾值法的原理是以一般能容忍的失真范圍為限定，通過判斷當前數據值與下一個數據值是否大于壓縮限值來決定是否舍棄或記錄該數據，限值設置越大，數據壓縮率越高，但失真度也越大。如圖1所示，如果壓縮限值設置為0.5，當前數據值是10.0，則下一個數據值如果在10.5以上或9.5以下都將被記錄，并以記錄的數據點為起點，設該點的值為y，0.5為判別門限，判斷下一個數據值是否在y±0.5之間，如果在，則舍棄該數據點，如果不在，則記錄該數據點，再以記錄的數據點為起點，進行判斷，對數據進行壓縮。如圖1中，打圈的數據點被記錄下來。

2.2旋轉門算法

旋轉門算法是一種線性趨勢化壓縮算法，將線性趨勢化的斜率變化情況作為重點考慮的因素，強調尋找改變斜率的線性“觸發點”，主要有平行四邊形和三角形兩種處理方式。算法的主要思想是利用當前數據點與前一個存儲點縮構成的壓縮限值覆蓋區來判斷數據是否應當保留。如果兩點構成的壓縮覆蓋區能覆蓋兩點之間所有數據點，則舍棄當前數據點，反之如果有數據點落在覆蓋區以外，就保存當前點的前一個數據點，并以該點為新的起點與后讀入的點構成新的覆蓋區繼續判斷壓縮的取舍點。具體壓縮判斷流程介紹如下：

設旋轉門的壓縮限值設為0.1，數據存儲時間間隔為1s。從讀入的第一個數據點開始，以它到當前數據點之間的連線為中軸，過這兩點做一個寬度為2倍壓縮限值的平行四邊形，判斷平行四邊形覆蓋的區域是否能覆蓋所有從上個存儲點到當前點之間的所有數據點，隨著數據點的讀入，以同樣的方法作新的平行四邊形，如圖2所示。

當產生的平行四邊形不能容納上個存儲點到當前點之間的所有數據點時，即有數據點落在當前平行四邊形覆蓋面積之外時，則對當前點通過本段壓縮，將一個數據點保存，其他點舍棄。如圖2中，第10秒時有數據點落在了平行四邊形覆蓋范圍之外，所以將起點和前一點，即第9秒的數據點保存，其余數據舍棄。以新保存的數據點為起點繼續重復上述過程，判斷后續數據點是否滿足判別要求。

2.3線性外插算法

線性外插算法也是一種利用線性化思想進行壓縮處理的方法，其主要處理方式是讀入兩個數據點，用這兩點作出一條直線，直線方程為y＝ax+b，設后續點的橫坐標值為x_i，把橫坐標的值帶入直線方程，算出該點的對應的函數值y_i是實際讀入點的數據值，δ是門限值，判斷后續點是否滿足y′-δ＜y＜y′+δ，若滿足則舍棄該數據點，不滿足則記錄該數據點及該數據點的前一點的值。并以不滿足門限值的數據點為下次判斷直線的起點，與后續的一個數據點作出直線進行判斷，算法的主要思路如圖3所示。