[發明專利]一種針對大數據基因測序文件的壓縮處理方法

有效

• 申請號: 202010122429.3
• 申請日: 2020-02-27
• 公開（公告）號: CN111370070B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 張中海;譚光明;張春明;姚二林
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G16B50/50
• 分類號: G16B50/50;G06F16/13;H03M7/40
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明涉及高性能計算領域，特別涉及一種大數據基因測序文件的壓縮處理方法，使得在減小測序數據占用的存儲資源的同時，可以方便的進行數據劃分，從而方便后續的并行分析處理，提高了分析效率。

技術領域

本發明涉及高性能計算領域，特別涉及一種大數據基因測序文件的壓縮處理方法。

背景技術

隨著基因測序技術的發展，尤其是二代測序甚至三代測序的技術突破，基因數據變得越來越容易獲取。基因數據測序文件通常采用fastq文件格式存儲，使用bwa工具進行后續分析。每個測序文件少則幾G，多則幾十G到上百G。如何高效的存儲和分析海量基因測序數據，成為了一項新的挑戰。

減少存儲空間的現有技術手段是采用傳統的壓縮技術，提高分析效率的技術手段是將數據劃分后進行多線程或多節點并行計算。

傳統的壓縮技術雖然可以減少測序數據的存儲空間，卻不利于數據劃分，需要先將測序數據完全解壓之后，才能對數據進行劃分，由此導致了數據分析的低效率。

發明內容

本發明提供一種對fastq文件壓縮的方法，包括：

步驟1，遍歷fastq文件，統計序列數量，確定每個壓縮塊所包含的序列數量P；

步驟2，依次讀取fastq文件，每讀取P個序列進行處理形成一個壓縮塊，以及將該壓縮塊包含的序列數量，壓縮塊大小和壓縮后的內容一起寫入壓縮文件；

步驟3，重復步驟2，記錄每個壓縮塊在壓縮文件中的起始位置信息，直到讀取完畢；

步驟4，將壓縮塊總數、序列總數和每個壓縮塊塊的起始位置信息寫入所述壓縮文件。

優選地，上述壓縮文件包括數據文件和索引文件，其中，

所述數據文件由多個壓縮塊構成，每個壓縮塊內包含當前壓縮塊對應的測序序列的數量，該壓縮塊所占用的字節數，以及采用壓縮算法壓縮后的測序序列數據。

所述索引文件包含兩部分，一個部分是索引首行的內容，包含壓縮塊總數以及序列總數；另一個部分是索引內容，由一行或者多行文本數據組成，每行包含對應的一個壓縮塊信息。

優選地，上述壓縮方法中的壓縮算法采用gzip壓縮算法。

優選地，上述壓縮塊信息包含三個數據，分別是壓縮塊的編號、該壓縮塊在壓縮數據文件中的起始位置以及壓縮塊的大小。

一種用于上述壓縮文件的解壓縮方法，包括：

步驟1，順序讀取一個壓縮塊的信息；

步驟2，根據壓縮塊信息對該壓縮塊進行解壓讀取；

步驟3，如果讀取完畢則結束，否則回到步驟1繼續處理下一壓縮塊。

一種用于上述壓縮文件的解壓縮方法，包括：

步驟1，根據索引文件信息，確定每個壓縮塊在壓縮文件的數據文件中的起始位置和結束位置；

步驟2，啟動多個線程，每個線程一次解壓處理一個壓縮塊數據；

步驟3，解壓后的數據按照壓縮塊編號放入緩沖隊列，各線程繼續處理后續未解壓的壓縮塊直到處理完畢所有壓縮塊；

步驟4，將緩沖隊列中的數據寫入解壓文件。

一種處理上述壓縮文件的方法，包括如下步驟：

步驟1，根據索引文件信息，確定每個壓縮塊在壓縮文件的數據文件中的起始位置和結束位置；

步驟2，根據節點或進程的數量，確定每個節點或進程讀取的壓縮塊數量和范圍；