[發明專利]一種針對大數據基因測序文件的壓縮處理方法

有效

• 申請號: 202010122429.3
• 申請日: 2020-02-27
• 公開（公告）號: CN111370070B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 張中海;譚光明;張春明;姚二林
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G16B50/50
• 分類號: G16B50/50;G06F16/13;H03M7/40
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種對fastq文件壓縮的方法，包括：

步驟1，遍歷fastq文件，統計序列數量，確定每個壓縮塊所包含的序列數量P；

步驟2，依次讀取fastq文件，每讀取P個序列進行處理形成一個壓縮塊，以及將該壓縮塊包含的序列數量，壓縮塊大小和壓縮后的內容一起寫入壓縮文件；

步驟3，重復步驟2，記錄每個壓縮塊在壓縮文件中的起始位置信息，直到讀取完畢；

步驟4，將壓縮塊總數、序列總數和每個壓縮塊塊的起始位置信息寫入所述壓縮文件。

2.根據權利要求1所述的方法，其特征在于，所述壓縮文件包括數據文件和索引文件，其中，

所述數據文件由多個壓縮塊構成，每個壓縮塊內包含當前壓縮塊對應的測序序列的數量，該壓縮塊所占用的字節數，以及采用壓縮算法壓縮后的測序序列數據；

所述索引文件包含兩部分，一個部分是索引首行的內容，包含壓縮塊總數以及序列總數；另一個部分是索引內容，由一行或者多行文本數據組成，每行包含對應的一個壓縮塊信息。

3.根據權利要求2所述的方法，其特征在于，所述壓縮算法采用gzip壓縮算法。

4.根據權利要求2所述的壓縮方法，其特征在于，所述壓縮塊信息包含三個數據，分別是壓縮塊的編號、該壓縮塊在壓縮數據文件中的起始位置以及壓縮塊的大小。

5.一種用于權利要求1-4之一產生的壓縮文件的解壓縮方法，包括：

步驟1，順序讀取一個壓縮塊的信息；

步驟2，根據壓縮塊信息對該壓縮塊進行解壓讀取；

步驟3，如果讀取完畢則結束，否則回到步驟1繼續處理下一壓縮塊。

6.一種用于權利要求1-4之一產生的壓縮文件的解壓縮方法，包括：

步驟1，根據索引文件信息，確定每個壓縮塊在壓縮文件的數據文件中的起始位置和結束位置；

步驟2，啟動多個線程，每個線程一次解壓處理一個壓縮塊數據；

步驟3，解壓后的數據按照壓縮塊編號放入緩沖隊列，各線程繼續處理后續未解壓的壓縮塊直到處理完畢所有壓縮塊；

步驟4，將緩沖隊列中的數據寫入解壓文件。

7.一種處理基于權利要求1-4生成的壓縮文件的方法，包括如下步驟：

步驟1，根據索引文件信息，確定每個壓縮塊在壓縮文件的數據文件中的起始位置和結束位置；

步驟2，根據節點或進程的數量，確定每個節點或進程讀取的壓縮塊數量和范圍；

步驟3，根據每個節點讀取的范圍進行解壓縮處理。

8.一種構建基于權利要求1-4之一產生的壓縮文件的索引文件的方法，包括：

步驟1，通過讀取壓縮文件的數據文件，獲取每個壓縮塊對應的序列數量和壓縮塊大小信息；

步驟2，將所述序列數量和壓縮塊大小信息寫入到索引文件。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其中，該程序被處理器執行時實現根據權利要求1-8中任意一項所述的方法。

10.一種計算機設備，包括存儲器和處理器，在所述存儲器上存儲有能夠在處理器上運行的計算機程序，其特征在于所述處理器執行所述程序時實現根據權利要求1-8任意一項所述的方法。