[發明專利]一種基于列式存儲技術的實時數據壓縮方法

有效

• 申請號: 201710346825.2
• 申請日: 2017-05-15
• 公開（公告）號: CN107193925B
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 黃永忠;徐兵;張建強;曹福國
• 申請（專利權）人: 浙江正泰中自控制工程有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/21
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 曹曉斐

1.一種基于列式存儲技術的實時數據壓縮方法，其特征是：所述方法包括下述步驟，

(1)讀入實時數據列包Xi，i=1，2，...，n，Xi為第i個對應的數據值；

(2)設△F為精度值，若對于列包中的序列Xi（a≤i≤b），有定義在[Ta，Tb]上的函數Fi=f(Ti)，使得：

|Xi-Fi|≤△F

|X(a-1)-F(a-1)|＞△F

|X(n+1)-F(n+1)|＞△F

則稱區間[Ta，Tb]為對于f(Ti)和△F的可壓縮區間，稱Fi=f(Ti)為Xi的一個覆蓋函數；

所有覆蓋函數都被事先賦予一個代碼fid；在精度△F的意義上，用fid、f(Ti)的所有參數值以及a、b來替代可壓縮區間[Ta，Tb]內的所有Xi，實現數據壓縮；

(3)對下標i賦予一個可變性，以下述函數表達：

i=S(j) (i，j∈{0}∪N)

S(j)稱為一個劃分函數，對應于其值域的集合{Ti|i=S(j)}稱為一個劃分，記為Γ(S)；

設△F為精度值，若對于列包中的序列Xi（a≤i≤b），有定義在Γ(S)∩[Ta，Tb]上的覆蓋函數Fi=f(Ti)，使得：

|Xi-Fi|≤△F

|X(S(S^-1(a)-1))-F(S(S^-1(b)-1))|＞△F

|X(S(S^-1(a)+1))-F(S(S^-1(b)+1))|＞△F

則稱Γ(S)∩[Ta，Tb]為對于f(Ti)和△F的可壓縮劃分，記為Γk；

在精度△F的意義上，就用f(Ti)的代碼fid、f(Ti)的所有參數值、S(j)的代碼sid、S(j)的所有參數值以及a、b來替代可壓縮劃分內的所有Xi，實現數據壓縮；

(4)對于列包中給定的序列Xi，姑且取第一個S(j)，如果存在一個S(j)參數的組合，使得Γ(S)上的Xi具有某個f(Ti)的函數特征，就可以進一步計算f(Ti)在Γ(S)上的參數組合，從而得到第一個可壓縮劃分，然后取下一個S(j)，重復進行以上步驟，直到所有S(j)被遍歷完成，最后，列包中剩下的Xi需要單獨存儲；

(5)評估是否有效壓縮，若是則結束，若否則改變完全劃分的結構，回到第（3）步執行。

2.根據權利要求1所述的一種基于列式存儲技術的實時數據壓縮方法，其特征是：如果存在一系列可壓縮劃分Γk，使得：

∪Γk = U (k∈N)

Γk1∩Γk2 = φ (k1、k2∈N且k1≠k2)

則稱{Γk}為對U的一個完全可壓縮劃分集，簡稱完全劃分，U為數據列包Xi中i的全集。

3.根據權利要求1所述的一種基于列式存儲技術的實時數據壓縮方法，其特征是： Fi=f(Ti)為線性或非線性。

4.根據權利要求1所述的一種基于列式存儲技術的實時數據壓縮方法，其特征是：所述評估是否有效壓縮，是根據實時數據列包Xi中被覆蓋函數Fi=f(Ti)覆蓋的數據覆蓋率與額定比率進行比較判斷的，當數據覆蓋率大于額定比率時，則判定為有效壓縮，當數據覆蓋率小于額定比率時，則判定為無效壓縮，所述額定比率可調節。