[發(fā)明專利]一種自適應(yīng)數(shù)據(jù)壓縮和解壓縮的方法和系統(tǒng)及存儲裝置

有效

• 申請?zhí)枺?/td>: 201310246176.0
• 申請日: 2013-06-20
• 公開（公告）號: CN103516369A
• 公開（公告）日: 2014-01-15
• 發(fā)明（設(shè)計）人: 易樂天;錢凱;趙朕毅
• 申請（專利權(quán)）人: 易樂天;錢凱;趙朕毅
• 主分類號: H03M7/38
• 分類號: H03M7/38
• 代理公司: 湖南兆弘專利事務(wù)所 43008
• 代理人: 周長清;陳暉

技術(shù)領(lǐng)域

本發(fā)明主要涉及到數(shù)據(jù)存儲領(lǐng)域，特指一種存儲系統(tǒng)的自適應(yīng)數(shù)據(jù)壓縮和解壓縮方法和系統(tǒng)及存儲裝置。

背景技術(shù)

隨著數(shù)據(jù)量的爆發(fā)式增長，存儲系統(tǒng)中存儲的數(shù)據(jù)量越來越多，根據(jù)IDC的統(tǒng)計，2012年全球數(shù)據(jù)總量達到上萬億GB，超過95%的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)；在許多以數(shù)據(jù)為核心的計算中心里，每天新產(chǎn)生的數(shù)據(jù)量已經(jīng)達到100GB甚至1TB。與此同時，新型存儲介質(zhì)及其技術(shù)，如閃存（flash?memory）、相變存儲（phase?change?memory）等，也在不斷發(fā)展。現(xiàn)有的很多計算機系統(tǒng)均利用數(shù)據(jù)壓縮技術(shù)對存儲數(shù)據(jù)進行壓縮，有效地降低系統(tǒng)的存儲成本，并能潛在減少對存儲介質(zhì)的寫操作，提高存儲介質(zhì)的壽命和系統(tǒng)的訪問性能。

從壓縮技術(shù)的層次區(qū)分，數(shù)據(jù)壓縮技術(shù)的應(yīng)用主要分為兩種：基于傳輸?shù)臄?shù)據(jù)壓縮和基于存儲的數(shù)據(jù)壓縮。

基于傳輸?shù)臄?shù)據(jù)壓縮技術(shù)主要是發(fā)送端在進行數(shù)據(jù)傳輸之前，將數(shù)據(jù)分段并進行壓縮，接收端收到數(shù)據(jù)之后，進行解壓縮，并傳遞給用戶。由于解壓縮后的數(shù)據(jù)不要求被存儲在永久介質(zhì)中，在傳輸結(jié)束之后，數(shù)據(jù)的壓縮元數(shù)據(jù)即可丟棄。由于基于傳輸?shù)膲嚎s技術(shù)不考慮數(shù)據(jù)在永久存儲介質(zhì)中的索引，因此，難以應(yīng)用于存儲系統(tǒng)中。

基于存儲的數(shù)據(jù)壓縮技術(shù)通常實現(xiàn)在存儲系統(tǒng)內(nèi)。傳統(tǒng)的基于存儲的數(shù)據(jù)壓縮技術(shù)方法為存儲系統(tǒng)在接收到寫入的數(shù)據(jù)流時，將該數(shù)據(jù)流分割為多個數(shù)據(jù)段，然后對每個數(shù)據(jù)段進行壓縮，最終數(shù)據(jù)以數(shù)據(jù)壓縮段的形式存儲在存儲設(shè)備或者存儲介質(zhì)中。基于存儲的數(shù)據(jù)壓縮技術(shù)改變了存儲數(shù)據(jù)段的大小，用戶讀取數(shù)據(jù)的地址也因此被改變，為了建立原始數(shù)據(jù)到壓縮后數(shù)據(jù)的地址映射，基于存儲的數(shù)據(jù)壓縮技術(shù)為數(shù)據(jù)壓縮段建立元數(shù)據(jù)索引結(jié)構(gòu)。當一段數(shù)據(jù)被讀取時，存儲系統(tǒng)通常先訪問該元數(shù)據(jù)索引結(jié)構(gòu)，將數(shù)據(jù)的地址映射到壓縮數(shù)據(jù)的地址。

盡管已有的一些存儲系統(tǒng)具有一定程度的壓縮能力，但是這些已有技術(shù)通常存在以下問題：?傳統(tǒng)的基于存儲的數(shù)據(jù)壓縮技術(shù)通常只能在存儲系統(tǒng)運行過程中固定地使用一種壓縮算法、參數(shù)，無法做到在線變更其壓縮算法、參數(shù)；然而壓縮算法的壓縮率（本文中所提到的壓縮率均為數(shù)據(jù)壓縮后的物理大小與壓縮前的物理大小的比值）和存儲控制器負載需求成反比關(guān)系，即在降低壓縮率的同時會很大程度提高存儲控制器的負載，這樣講造成傳統(tǒng)的基于存儲的數(shù)據(jù)壓縮技術(shù)無法兼顧提高壓縮率和減輕存儲控制器負載兩個指標。當采用壓縮率高的壓縮算法時，不斷的數(shù)據(jù)壓縮工作會讓存儲系統(tǒng)負載超荷，當采用低壓縮率的壓縮算法時，閑置的系統(tǒng)負載能力又無法提高數(shù)據(jù)的壓縮率。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題就在于：針對現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供一種能夠根據(jù)存儲系統(tǒng)預(yù)設(shè)壓縮率、存儲控制器負載情況，自適應(yīng)選擇對應(yīng)壓縮算法和壓縮參數(shù)，既能滿足存儲系統(tǒng)的壓縮率要求又能減少存儲控制器負載，從而提高存儲系統(tǒng)性能的自適應(yīng)數(shù)據(jù)壓縮和解壓縮方法和系統(tǒng)及存儲裝置。

為了解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案：

???一種自適應(yīng)數(shù)據(jù)壓縮和解壓縮的方法，其步驟為：

（1）壓縮：根據(jù)存儲系統(tǒng)設(shè)定的壓縮率目標、存儲控制器的負載情況為需要壓縮的數(shù)據(jù)段自適應(yīng)選擇對應(yīng)的數(shù)據(jù)壓縮算法、參數(shù)進行數(shù)據(jù)壓縮；將壓縮后的數(shù)據(jù)段和壓縮算法、參數(shù)一并寫入存儲設(shè)備或者存儲介質(zhì)中；

（2）解壓縮：獲取需要解壓縮數(shù)據(jù)段的壓縮算法、參數(shù)，并使用與所獲得的壓縮算法、參數(shù)對應(yīng)的解壓縮算法為相應(yīng)的數(shù)據(jù)段解壓縮。

作為本發(fā)明的進一步改進：

所述步驟（1）中進行壓縮的具體流程為：

（1.1）存儲控制器為每個已存儲數(shù)據(jù)段或已存儲數(shù)據(jù)壓縮段與每個卷或文件的邏輯數(shù)據(jù)段之間建立映射關(guān)系，為所有映射關(guān)系建立索引結(jié)構(gòu)，并將該索引結(jié)構(gòu)寫入存儲設(shè)備或存儲介質(zhì)中；

（1.2）存儲控制器接收主機端的寫入數(shù)據(jù)流，將該寫入數(shù)據(jù)流分成一個或者多個寫入數(shù)據(jù)段；所述存儲控制器根據(jù)存儲系統(tǒng)設(shè)定的壓縮率目標、存儲控制器當前的負載情況為每一個寫入數(shù)據(jù)段自適應(yīng)選擇對應(yīng)的壓縮算法、參數(shù)進行數(shù)據(jù)壓縮，產(chǎn)生壓縮數(shù)據(jù)段；

（1.3）將所述壓縮數(shù)據(jù)段寫入存儲設(shè)備或存儲介質(zhì)，并更新所述索引結(jié)構(gòu)，將該索引結(jié)構(gòu)的更新部分寫入存儲設(shè)備或存儲介質(zhì)中。