[發明專利]數據壓縮方法、裝置及計算機可讀存儲介質在審
| 申請號: | 202011033892.7 | 申請日: | 2020-09-27 |
| 公開(公告)號: | CN111984610A | 公開(公告)日: | 2020-11-24 |
| 發明(設計)人: | 王艷清;徐洪志;亓國強;郭平加 | 申請(專利權)人: | 蘇州浪潮智能科技有限公司 |
| 主分類號: | G06F16/174 | 分類號: | G06F16/174;G06F3/06 |
| 代理公司: | 北京集佳知識產權代理有限公司 11227 | 代理人: | 劉新雷 |
| 地址: | 215100 江蘇省蘇州市吳*** | 國省代碼: | 江蘇;32 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 數據壓縮 方法 裝置 計算機 可讀 存儲 介質 | ||
1.一種數據壓縮方法,其特征在于,包括:
當接收到主機下發的寫請求,若所述寫請求對應待處理數據的占用空間容量值大于預設最小決策采樣閾值,計算所述待處理數據的壓縮率;
若所述待處理數據的壓縮率低于預設最大壓縮率閾值,對所述待處理數據進行壓縮,同時將所述待處理數據的元數據對應字段標識為壓縮數據;若所述待處理數據的壓縮率不低于預設最大壓縮率閾值,將所述待處理數據的元數據對應字段標記為原始數據;
若所述待處理數據的占用空間容量值不大于預設最小決策采樣閾值,對所述待處理數據進行壓縮,同時將所述待處理數據的元數據對應字段標識為壓縮數據。
2.根據權利要求1所述的數據壓縮方法,其特征在于,所述待處理數據的占用空間容量值不大于預設最小決策采樣閾值,對所述待處理數據進行壓縮包括:
預先分配包括多個待壓縮數據區和壓縮數據區的緩存區,各待壓縮數據區的占用空間容量值等于所述預設最小決策采樣閾值;
若所述待處理數據的占用空間容量值不大于預設緩存閾值,將所述待處理數據存儲至其中一個待壓縮數據區;所述預設緩存閾值小于所述待壓縮數據區的占用空間容量值;若所述待處理數據的占用空間容量值大于預設緩存閾值且小于所述預設最小決策采樣閾值,將所述待處理數據存儲至所述壓縮數據區;
若檢測到各待壓縮數據區中的剩余空間容量值低于容量閾值,同時調用多個壓縮線程對各待處理數據進行壓縮,同時將各待處理數據的元數據對應字段標識壓縮數據;
若檢測到所述壓縮數據區內的存儲數據占用空間容量值與所述預設最小決策采樣閾值相同,同時調用多個壓縮線程對各待處理數據進行壓縮,同時將各待處理數據的元數據對應字段標識壓縮數據。
3.根據權利要求2所述的數據壓縮方法,其特征在于,所述將所述待處理數據存儲至其中一個待壓縮數據區包括:
判斷存儲目標寫請求對應待處理數據的目標待壓縮數據區的剩余空間容量值是否大于當前時刻寫請求對應待處理數據的占用空間容量值;所述目標寫請求為對應待處理數據的占用空間容量值不大于所述預設緩存閾值且請求下發時刻與所述當前時刻寫請求的請求下發時刻最相近的請求;
若是,將所述當前時刻寫請求對應待處理數據存儲至所述目標待壓縮數據區;若否,將所述當前時刻寫請求對應待處理數據存儲至所述目標待壓縮數據區的下一個待壓縮數據區。
4.根據權利要求1至3任意一項所述的數據壓縮方法,其特征在于,所述對所述待處理數據進行壓縮之后,還包括:
當接收到主機下發的讀請求,獲取所述讀請求對應待讀取數據的元數據;
若所述待讀取數據的元數據的壓縮標識字段為原始數據,將所述待讀取數據返回上層業務;若所述待讀取數據的元數據的壓縮標識字段為壓縮數據,調用壓縮引擎對所述待讀取數據進行解壓縮操作,并將解壓縮后所得數據返回上層業務。
5.根據權利要求4所述的數據壓縮方法,其特征在于,所述當接收到主機下發的讀請求,獲取所述讀請求對應待讀取數據的元數據包括:
預先構建多個數據讀取線程和每個數據讀取線程相對應的數據處理線程;
當同時接收到讀請求,調用各數據讀取線程獲取相應讀請求對應待讀取數據的元數據,并將讀取的元數據傳遞至相應的數據處理線程。
6.根據權利要求4所述的數據壓縮方法,其特征在于,所述當接收到主機下發的讀請求,獲取所述讀請求對應待讀取數據的元數據包括:
當同時接收到讀請求,讀取各讀請求的優先級信息;
獲取優先級最高的讀請求對應待讀取數據的元數據。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于蘇州浪潮智能科技有限公司,未經蘇州浪潮智能科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202011033892.7/1.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:一種雙控集群故障恢復的方法、系統及設備
- 下一篇:圖譜數據預處理方法及裝置





