[發明專利]一種高效無損的內存壓縮方法及其系統

在審

• 申請號: 202210183571.8
• 申請日: 2022-02-28
• 公開（公告）號: CN114546889A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 張力;李迅
• 申請（專利權）人: 北京算能科技有限公司
• 主分類號: G06F12/02
• 分類號: G06F12/02;G06F9/50
• 代理公司: 福州君誠知識產權代理有限公司 35211
• 代理人: 戴雨君

本發明公開一種高效無損的內存壓縮方法及其系統，獲取系統的輸入的原始壓縮信號；將原始壓縮信號直接存入內存并在時間維度上建立大量的緩存；后續單元需要數據時，對內存中存儲的壓縮信號進行即用即解處理，并將解壓縮后所需的數據存放到臨時空間VBUF中；信號處理單元從臨時空間VBUF中讀取所需要的信號進行相應的信號處理。本發明直接復用輸入壓縮數據，即用即解的設計在保證數據無損的前提下，提供了超高的壓縮效率，有效減少了內存存儲空間和帶寬。

技術領域

本發明涉及內存壓縮技術領域，尤其涉及一種高效無損的內存壓縮方法及其系統。

背景技術

如圖1所示，在傳統視頻和圖像處理系統中，內存的帶寬和存儲容量相對于處理任務來說綽綽有余，因此一般系統的中間結果都是直接存儲到內存中，如下圖左邊所示。

如圖2所示，但在高數據量吞吐的系統中，如顯卡GPU，視頻圖像AI系統中，系統內部緩存的圖像數據往往會占用大量的內存空間，使得內存帶寬和內存容量稱為瓶頸。值得注意的是，這些視頻和圖像數據往往本身就來源于各種壓縮格式的視頻和圖像內容。因此，為了節約內存存儲空間或減少內存讀取帶寬，系統結構就如上圖右邊所示，研究人員提出了各種無損壓縮算法和技術來實現內存壓縮的目的。因為通過內存的數據流量大，延時要求小，這類算法通常都要求便于硬件實現。這類算法主要分成兩類，一類是面向圖像數據設計的壓縮技術，如ARM的AFBC[1](ARM幀緩存壓縮)，ATSC[2]（自適應可伸縮紋理壓縮），JPEG-LS[3](無損jpeg壓縮)等，這類壓縮技術專門針對圖像數據的特點設計，壓縮以塊為單位，壓縮效率較高。另一類是面向通用數據設計的壓縮技術，如LZW[4]算法、LZMA[5]等基于字典的壓縮算法。這類壓縮技術面向通用數據，去除數據前后之間的相關性來進行壓縮。

目前的內存壓縮技術，無論哪類，都需要對數據重新進行壓縮，即硬件上需要設計一對壓縮和解壓縮單元。而實際圖像和視頻分析系統中，為了便于傳輸，原始的輸入數據都是壓縮數據，在現有系統中，都是將壓縮數據先進行解碼，然后將解壓縮后的數據在寫入內存時，重新用新設計的無損壓縮進行數據壓縮，在內存讀出時使用對應的解壓縮單元進行處理。這樣帶來三個問題：1）在數據寫入時需要設計額外的數據壓縮單元，增加寫入延遲；2）考慮到數據需要無損壓縮，壓縮后數據量要遠遠大于原始輸入的壓縮數據。即使是第一類專門針對圖像數據設計的壓縮技術，無損壓縮只能平均做到2倍，而原始輸入的壓縮數據可以達到上百倍的壓縮；3）壓縮算法上不能與原系統固有的圖像或視頻解壓縮單元復用，增加芯片設計在IP授權和面積上的成本。

發明內容

本發明的目的在于提供一種高效無損的內存壓縮方法及其系統。

本發明采用的技術方案是：

一種高效無損的內存壓縮方法及其系統，其包括以下步驟：

步驟1、獲取系統的輸入的原始壓縮信號；

步驟2、將原始壓縮信號直接存入內存并在時間維度上建立大量的緩存；因為直接存儲原始壓縮信號，相比于常規的存儲解壓縮信號或者無損壓縮信號，不需要額外的壓縮步驟，并且同等時間長度下，所需的內存容量可節約幾十到上百倍。

步驟3、后續單元需要數據時，對內存中存儲的壓縮信號進行即用即解處理，并將解壓縮后所需的數據存放到臨時空間VBUF中；

步驟4、信號處理單元從臨時空間VBUF中讀取所需要的信號進行相應的信號處理。

進一步地，步驟1中的原始壓縮信號為視頻或者圖像壓縮信號，如JPEG格式圖片，H264視頻碼流等，為了便于存儲和傳輸，這種壓縮信號為有損壓縮，壓縮率往往遠大于無損壓縮的壓縮倍數。

進一步地，步驟3中使用超高速硬件解壓縮單元對存儲的壓縮信號即用即解。當后續信號處理單元需要數據時，將所需的數據存放到臨時空間VBUF中。

進一步地，臨時空間VBUF的存儲介質為內存、硬盤或者片上存儲器。