[發明專利]一種在嵌入式虛擬磁帶庫環境中實現數據壓縮和解壓縮的方法和系統

無效

• 申請號: 200910131888.1
• 申請日: 2009-04-09
• 公開（公告）號: CN101859231A
• 公開（公告）日: 2010-10-13
• 發明（設計）人: 張慶敏;胡剛;謝海威;鄭志文
• 申請（專利權）人: 北京眾志和達信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及計算機存儲技術領域，尤其涉及一種在嵌入式虛擬磁帶庫環境中實現數據壓縮和解壓縮方法和系統。

背景技術

隨著信息數據快速增長，數據的存儲、移動以及安全性變得越來越重要，巨大的數據量對于運行軟件的計算機提出了更高的要求。例如對于一個具有2000個變量的中型系統來說，如果每分鐘采集一次數據，則一個小時之后，2000個變量的數據量將達到30M左右。目前解決這一難題的有效途徑是數據的壓縮與解壓技術，即將發送端待傳輸的數據進行壓縮，而接收端將接收到的壓縮數據解壓以獲得原始數據。在一定的數據存儲空間要求下，將相對龐大的原始數據，重組為滿足前述空間要求的數據集合，使得從該數據集合中恢復出來的信息，能夠與原始數據相一致，或者能夠獲得與原始數據相同的使用品質。相對于未采用壓縮技術，采用不同的壓縮技術之后，存儲和傳輸中的數據會顯著縮小，網絡系統和存儲系統的利用率因此提高。

歷史數據的壓縮技術應用，可以減輕主系統負荷、提高生產系統的效率，其次根據其數據的歷史生命周期，對不同使用頻率的數據采用不同的壓縮比率進行壓縮，在保證使用的前提下，盡最大的可能合理壓縮數據。這種數據存儲方式既沒有占用大量的一級存儲，節約了成本，同時也解決了低廉的二級存儲方案不能滿足管理查詢和分析的問題。為了在網絡中傳輸數據，也必須先將數據壓縮，再進行傳輸，否則巨大的數據包將造成系統長時間的等待，影響系統的性能穩定。

發明內容

本發明提供一種在嵌入式虛擬磁帶庫環境中實現數據壓縮和解壓縮方法和系統。虛擬磁帶庫通過壓縮和解壓縮方法，實現在線數據的壓縮和解壓縮。本方法包含壓縮和解壓縮兩個過程。壓縮存在備份過程中，備份的數據通過虛擬磁帶機程序進入硬件壓縮卡中，壓縮卡通過壓縮芯片將數據壓縮，虛擬磁帶機程序繼續將壓縮后的數據寫入虛擬磁帶中。解壓縮存在于數據恢復過程中，虛擬磁帶的數據被虛擬磁帶機程序讀出并傳入硬件壓縮卡中，壓縮卡通過壓縮芯片將數據解壓縮，虛擬磁帶機程序繼續將解壓縮后的數據傳遞給存儲接口。虛擬磁帶機程序通過雙壓縮隊列實現高性能壓縮和解壓縮。對于同樣的存儲空間要求，采用壓縮處理后，實際的物理存儲空間能夠顯著減小，能明顯提高存儲空間的利用率，同時硬盤驅動器的數量降低，也使得整個存儲系統的可靠性得到增強。

壓縮數據單次處理的數據長度不限。

設計上采用FPGA技術實現Soul?LZM壓縮算法，FPGA的壓縮芯片的有多個邏輯部分組成，包括兩個壓縮及解壓縮處理單元。

壓縮和解壓縮處理流程采用異步方式，用以提高系統的高性能和大吞吐量，充分利用硬件壓縮卡的性能。虛擬磁帶機程序將待壓縮數據加入工作描述符隊列，當前的指令的上下問被保存在虛擬程序的工作隊列中，虛擬磁帶機隨后處理其他的SCSI指令。硬件壓縮卡通過描述符隊列處理數據，完成后通過中段的方式通知驅動程序，驅動程序通知虛擬磁帶機虛擬程序，磁帶機虛擬程序通過完成后續處理。

壓縮卡驅動實現了易用的接口，易于實現壓縮和非壓縮的兼容壓縮卡驅動以內核模塊的方式存在，提供對外接口，供磁帶機虛擬程序使用。壓縮和解壓縮針對的二進制數據，對文本數據、圖像數據、數據庫等壓縮比例依賴算法本身。

所述壓縮和解壓縮系統，從嵌入式虛擬磁帶庫接口獲得數據，虛擬磁帶機程序將數據傳入壓縮卡的驅動程序，壓縮卡通過描述符隊列，對要進行的壓縮數據進行排隊，當請求隊列有數據時，取出隊列中的數據，壓縮處理后，放入指定的內存之中，并中斷通知虛擬程序。

本系統是嵌入式虛擬磁帶庫系統的子系統，主要組成部分由驅動器虛擬程序，壓縮卡驅動，PCI接口的壓縮卡等構成。本方法實施方案中包含嵌入式主板、硬件壓縮卡、嵌入式操作系統、磁帶機虛擬程序等。

附圖說明

圖1本發明數據壓縮流程示意圖；

圖2本發明系統壓縮卡FPGA處理芯片邏輯結構示意圖；

圖3本發明系統壓縮及解壓縮處理單元芯片邏輯結構示意圖；

圖4本發明系統壓縮異步處理時序結構圖；

圖5本發明系統邏輯結構示意圖；

圖6本發明實施例系統結構圖。

具體實施方式

為了使本技術領域的人員更好地理解本發明實施例的方案，下面結合附圖和實施方式對本發明實施例作進一步的詳細說明。

首先，參照圖1，是本發明數據壓縮流程示意圖，主要包括以下步驟：

步驟101，備份數據到來。

步驟102，虛擬磁帶機程序將數據內存地址傳遞給硬件壓縮卡。

步驟103，壓縮卡完成后將數據寫回內存。