[發明專利]一種分布式文件系統的自適應壓縮方法及系統

有效

• 申請號: 201610030950.8
• 申請日: 2016-01-18
• 公開（公告）號: CN105718538B
• 公開（公告）日: 2019-05-14
• 發明（設計）人: 查禮;王銳堅;王超
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/182
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

1.一種分布式文件系統的自適應壓縮方法，其特征在于，包括：

步驟1，設置壓縮文件格式，形成壓縮數據流，所述壓縮數據流由頭部信息與多個數據塊組成，其中所述頭部信息用于判斷所述壓縮數據流是否已經過壓縮；

步驟2，接收待壓縮文件，將所述待壓縮文件按照所述壓縮文件格式將所述待壓縮文件進行壓縮生成所述壓縮數據流；

步驟3，設置索引文件，其中所述索引文件由多個記錄組成，每條記錄維護所述壓縮數據流中數據的數據信息，所述索引文件用于快速定位所述壓縮數據流；

其中所述步驟2包括獲取客戶端的寫請求，所述分布式文件系統的命名空間節點告知所述待壓縮文件所在的數據節點，所述客戶端與數據節點通信，所述客戶端傳輸待壓縮數據給所述數據節點，通過自適應壓縮理論模型獲取最優壓縮算法，選擇最優壓縮算法后，將所述待壓縮數據進行壓縮，生成所述壓縮數據流，將所述壓縮數據流發送給所述數據節點；

所述自適應壓縮理論模型為

|CR×R-TR|,CR＞TR且R＜0.8

R為各壓縮算法之間的壓縮比，CR為各壓縮算法之間的壓縮速率，TR數據傳輸速率。

2.如權利要求1所述的分布式文件系統的自適應壓縮方法，其特征在于，所述數據信息包括所述待壓縮文件的位置、所述待壓縮文件在壓縮文件中的位置、所述待壓縮文件的大小。

3.一種分布式文件系統的自適應壓縮系統，其特征在于，包括：

設置壓縮文件格式模塊，用于設置壓縮文件格式，形成壓縮數據流，所述壓縮數據流由頭部信息與多個數據塊組成，其中所述頭部信息用于判斷所述壓縮數據流是否已經過壓縮；

壓縮模塊，用于接收待壓縮流文件，將所述待壓縮文件按照所述壓縮文件格式將所述待壓縮文件進行壓縮生成所述壓縮數據流；

設置索引文件模塊，用于設置索引文件，其中所述索引文件由多個記錄組成，每條記錄維護所述壓縮數據流中數據的數據信息，所述索引文件用于快速定位所述壓縮數據流；

其中所述壓縮模塊包括獲取客戶端的寫請求，所述分布式文件系統的命名空間節點告知所述待壓縮文件所在的數據節點，所述客戶端與數據節點通信，所述客戶端傳輸待壓縮數據給所述數據節點，通過自適應壓縮理論模型獲取最優壓縮算法，選擇最優壓縮算法后，將所述待壓縮數據進行壓縮，生成所述壓縮數據流，將所述壓縮數據流發送給所述數據節點；

所述自適應壓縮理論模型為

|CR×R-TR|,CR＞TR且R＜0.8

R為各壓縮算法之間的壓縮比，CR為各壓縮算法之間的壓縮速率，TR數據傳輸速率。

4.如權利要求3所述的分布式文件系統的自適應壓縮系統，其特征在于，所述數據信息包括所述待壓縮文件的位置、所述待壓縮文件在壓縮文件中的位置、所述待壓縮文件的大小。