[發明專利]一種基于單快照的多體模擬有損壓縮技術

在審

• 申請號: 201810081727.5
• 申請日: 2018-01-29
• 公開（公告）號: CN108182283A
• 公開（公告）日: 2018-06-19
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H03M7/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明中提出的一種基于單快照的多體模擬有損壓縮技術，其主要內容包括：預測模型、有損壓縮的優化，其過程為，首先構造預測模型，使用最后返回值模型代替線性曲線擬合模型，使得熵編碼可以應用于數據庫的絕大部分數據；然后針對分子動力學模擬數據集的有損壓縮進行優化，先執行部分基數排序，實現對R索引數組的排序，再使用最后返回值有損壓縮方法，作用于重新排序的數組，對R索引數組進行分段排序；最后針對宇宙模擬數據集的有損壓縮進行優化，根據基于速度的R索引數組排序和基于坐標?速度的R索引排序兩種方式來重組數據。本發明對多體模擬的有損壓縮模型進行優化，新模型具有更高的壓縮比，且在合理的壓縮比下具有更小的失真率。

技術領域

本發明涉及有損壓縮領域，尤其是涉及了一種基于單快照的多體模擬有損壓縮技術。

背景技術

有損壓縮利用了人類對感興趣的圖像或者聲波中的某些頻率成分不敏感的特性，允許壓縮過程中損失一定的信息，換來更大的壓縮比；雖然不能完全恢復原始數據，但是所損失的部分對理解原始圖像的影響很小。常見的聲音、圖像、視頻壓縮基本都是有損壓縮。舉例來說，經過有損壓縮，音頻能夠在沒有察覺的質量下降情況下實現較高的壓縮比，視頻能夠在具有肉眼可觀察的細微的質量下降的情況下實現非常大的壓縮比。隨著并行操作規模的日益擴大，當今的科學模擬需要存儲的數據量越來越大，因此需要具有較大壓縮比的壓縮技術。比如，宇宙模擬當中，進行模擬的粒子的數目高達3.5兆，需要60PB的數據存儲空間，這遠遠超出了超級存儲器的存儲空間。通常情況下，用戶只存儲數據的80％到90％。傳統的方法通過壓縮每一個快照來實現壓縮數據。但是，其局限性在于這類方法十分難以實現，因為用戶根本無法對多個快照進行平滑以減少數據的大小。另外，傳統的方法具有較低的壓縮比，因此其不能夠直接應用于存儲量巨大的多體模擬中。

本發明提出了一種基于單快照的多體模擬有損壓縮技術，首先構造預測模型，使用最后返回值模型代替線性曲線擬合模型，使得熵編碼可以應用于數據庫的絕大部分數據；然后針對分子動力學模擬數據集的有損壓縮進行優化，先執行部分基數排序，實現對R索引數組的排序，再使用最后返回值有損壓縮方法，作用于重新排序的數組，對R索引數組進行分段排序；最后針對宇宙模擬數據集的有損壓縮進行優化，根據基于速度的R索引數組排序和基于坐標-速度的R索引排序兩種方式來重組數據。本發明對多體模擬的有損壓縮模型進行優化，新模型具有更高的壓縮比，且在合理的壓縮比下具有更小的失真率。

發明內容

針對傳統方法具有較低的壓縮比等問題，本發明的目的在于提供一種基于單快照的多體模擬有損壓縮技術，首先構造預測模型，使用最后返回值模型代替線性曲線擬合模型，使得熵編碼可以應用于數據庫的絕大部分數據；然后針對分子動力學模擬數據集的有損壓縮進行優化，先執行部分基數排序，實現對R索引數組的排序，再使用最后返回值有損壓縮方法，作用于重新排序的數組，對R索引數組進行分段排序；最后針對宇宙模擬數據集的有損壓縮進行優化，根據基于速度的R索引數組排序和基于坐標-速度的R索引排序兩種方式來重組數據。

為解決上述問題，本發明提供一種基于單快照的多體模擬有損壓縮技術，其主要內容包括：

(一)預測模型；

(二)有損壓縮的優化。

其中，所述的預測模型，使用最后返回值模型代替線性曲線擬合模型，最后返回值模型比線性曲線擬合模型具有更高的壓縮比，平均每個變量的壓縮比提高了10.1％；最后返回值模型采用具有很多量化區間的線性比例量化的方法，使得熵編碼可以應用于數據庫的絕大部分數據。

進一步地，所述的最后返回值模型以及線性曲線擬合模型，最后返回值模型利用先前一個數據點的預測值來估計當前時刻的數據點，即：最后返回值模型簡單有效，在實際當中得到廣泛的應用；

線性曲線擬合模型利用先前兩個數據點的值來預測當前壓縮的數據點，即：其中，vx_i-1和vx_i-2表示先前兩個數據點的值。