[發明專利]一種通用數據gz格式的多線程壓縮與解壓方法及裝置

在審

• 申請號: 201711389584.6
• 申請日: 2017-12-21
• 公開（公告）號: CN108134609A
• 公開（公告）日: 2018-06-08
• 發明（設計）人: 朱澤軒;孫怡雯
• 申請（專利權）人: 深圳大學
• 主分類號: H03M7/30
• 分類號: H03M7/30;H03M13/00;G06F9/50;G06F9/48
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 王利彬

1.一種通用數據gz格式的多線程壓縮與解壓方法，其特征在于，所述方法包括：壓縮步驟S1和解壓步驟S2，其中，所述壓縮步驟S1包括：

步驟S11，輸入原始數據，并將所述原始數據進行分塊處理，得到M份數據塊；

其中，每份數據塊表示為Di，i∈[0,M-1]；

步驟S12，利用預置的第一線程池中的N₁個線程分別壓縮M份所述數據塊，壓縮過程中在gz格式的文件頭部分預留預設空間，獲得M份壓縮后的數據gzDi和所述數據gzDi的大小size(gzDi)；

步驟S13，按順序將M份壓縮后的所述數據gzDi寫入磁盤中，并將對應的M份所述數據gzDi的size(gzDi)順序寫入所述預設空間，得到壓縮數據；

其中，所述解壓縮步驟S2包括：

步驟S21，輸入所述壓縮數據，讀取寫入的所述size(gzDi)的列表信息，并按照所述size(gzDi)的列表信息對所述壓縮數據進行切分，得到M份數據塊gzDi；

步驟S22，利用預置的第二線程池中的N₂個線程分別解壓M份所述數據塊gzDi，獲得M份解壓后的原始數據Di；

步驟S23，根據所述size(gzDi)的列表信息串聯解壓后的所述原始數據Di，得到完整的原始數據。

2.如權利要求1所述的多線程壓縮與解壓方法，其特征在于，所述原始數據為多源數據。

3.如權利要求1所述的多線程壓縮與解壓方法，其特征在于，所述利用預置的第一線程池中的N₁個線程分別壓縮M份所述數據塊，包括：

利用預置的第一線程池中的N₁個線程分別對應壓縮M份所述數據塊中的N₁個數據塊，N₁個線程中的任一個線程對應的數據塊壓縮完畢后，繼續利用所述線程處理剩余未壓縮的數據塊，直至M份所述數據塊壓縮完畢。

4.如權利要求1所述的多線程壓縮與解壓方法，其特征在于，所述步驟S22具體為：

利用預置的第二線程池中的N₂個線程分別對應解壓M份所述數據塊gzDi中的N₂個數據塊，N₂個線程中的任一個線程對應的數據塊解壓完畢后，繼續利用所述線程處理剩余未解壓的數據塊，直至M份所述數據塊解壓完畢，獲得M份解壓后的原始數據Di。

5.如權利要求1至4任一項所述的多線程壓縮與解壓方法，其特征在于，所述第一線程池中的N₁個線程等于所述第二線程池中的N₂個線程。

6.一種通用數據gz格式的多線程壓縮與解壓裝置，其特征在于，所述裝置包括：壓縮模塊1和解壓模塊2，其中，所述壓縮模塊1包括：

分塊模塊11，用于輸入原始數據，并將所述原始數據進行分塊處理，得到M份數據塊；

其中，每份數據塊表示為Di，i∈[0,M-1]；

壓縮模塊12，用于利用預置的第一線程池中的N₁個線程分別壓縮M份所述數據塊，壓縮過程中在gz格式的文件頭部分預留預設空間，獲得M份壓縮后的數據gzDi和所述數據gzDi的大小size(gzDi)；

寫入模塊13，用于按順序將M份壓縮后的所述數據gzDi寫入磁盤中，并將對應的M份所述數據gzDi的size(gzDi)順序寫入所述預設空間，得到壓縮數據；

其中，所述解壓縮模塊2包括：

切分模塊21，用于輸入所述壓縮數據，讀取寫入的所述size(gzDi)的列表信息，并按照所述size(gzDi)的列表信息對所述壓縮數據進行切分，得到M份數據塊gzDi；

解壓模塊22，用于利用預置的第二線程池中的N₂個線程分別解壓M份所述數據塊gzDi，獲得M份解壓后的原始數據Di；

串聯模塊23，用于根據所述size(gzDi)的列表信息串聯解壓后的所述原始數據Di，得到完整的原始數據。

7.如權利要求6所述的多線程壓縮與解壓裝置，其特征在于，所述原始數據為多源數據。