[發明專利]一種基因測序數據壓縮和傳輸方法

在審

• 申請號: 201710140073.4
• 申請日: 2017-03-10
• 公開（公告）號: CN106971090A
• 公開（公告）日: 2017-07-21
• 發明（設計）人: 左褀洋;唐元華;徐健
• 申請（專利權）人: 首度生物科技（蘇州）有限公司;蘇州首度基因科技有限責任公司
• 主分類號: G06F19/20
• 分類號: G06F19/20;G06F19/28;G06F17/30
• 代理公司: 北京恒泰銘睿知識產權代理有限公司11642
• 代理人: 蘇天功

技術領域

本發明涉及基因檢測技術領域,尤其是一種基因測序數據壓縮和傳輸方法。

背景技術

隨著基因測序技術的發展和測序成本的降低，尤其是新一代測序(NGS)的應用和普及，測序數據產出數量呈指數增長，而如何高效的存儲和傳輸測序數據成為行業發展面臨的一個重大挑戰。成熟的DNA測序技術始于20世紀70年代化學降解法和雙脫氧鏈終止法，后續又逐漸出現了熒光和雜交等測序方法，統稱為第一代DNA測序技術，產出數據量通常在bp或者kb數量級上。2005年左右，454測序,solexa測序和SOLiD測序等技術的先后出現，新一代測序技術（NGS）迅速發展并成為主流技術。它最顯著特征是高通量，可以同時對幾十萬到幾百萬條DNA分子進行序列測序，產出數據提升到GB或者TB數量級上，而大型國際項目數據產出可以高達PB級。目前NGS測序技術還在持續性更新，成本降低，通量上升，后續的第三代測序技術也接踵而來。而對于測序數據的壓縮,存儲和傳輸，使用傳統的常規壓縮方法，越來越難滿足大數據分析的需求，其龐大的數據不但需要很大的存儲空間，在數據傳輸過程中，其需要很長的時間，大大降低了數據傳輸的效率。

發明內容

為了解決上述技術問題，本發明提供了一種基因測序數據壓縮方法，該方法在本地建立了標準DNA序列數據庫,通過標準DNA數據庫的編號代替DNA測序數據，不再單獨存儲和傳輸原文，從而大幅提高壓縮,存儲和傳輸效率。

一種基因測序數據壓縮方法，包括以下步驟：

A. 建立標準DNA序列數據庫：將標準DNA序列數據庫部署到數據處理設備；

C. DNA測序數據的預處理：將DNA測序數據逐一與標準DNA數據庫比對，生成對應關系，將標準DNA數據庫編號替換DNA測序數據原文, 將DNA測序數據與標準DNA數據庫差異的部分單獨存儲；

D. 壓縮：將預處理后的DNA測序數據進行壓縮形成壓縮文件；

E. 將壓縮文件進行存儲或傳輸。

進一步地，步驟C為有損替換，即將測序數據的值就近轉換為相應的質量值。

進一步地，在所述C步驟之前，還包括步驟B.去噪音步驟，將DNA測序數據中低質量數據和異常數據刪除。

進一步地，所述步驟D包括第一次壓縮和二次壓縮，所述第一次壓縮采用變種LZ77算法進行壓縮，所述第二次壓縮使用Huffman編碼進行壓縮。

本發明還公開了一種基因測序數據的傳輸方法，包括以下步驟

A. 建立標準DNA序列數據庫：將標準DNA序列數據庫部署到第一數據處理設備和第二數據處理設備；

C. DNA測序數據的預處理：在第一數據處理設備中將DNA測序數據逐一與標準DNA數據庫比對，生成對應關系，將標準DNA數據庫編號替換DNA測序數據原文, 將DNA測序數據與標準DNA數據庫差異的部分單獨存儲；

D. 壓縮：將預處理后的DNA測序數據在第一數據處理設備中進行壓縮形成壓縮文件；

E.將壓縮文件由第一數據處理設備傳輸至第二數據處理設備。

進一步地，所述方法還包括步驟F.DNA測序數據的還原：第二數據處理設備根據標準DNA序列數據庫信息，將壓縮文件中的編號還原為序列，重新構建原始測序數據。

進一步地，所述第一數據處理設備為核心計算機或核心計算機群，所述第二數據處理設備為處理終端。

進一步地，步驟C為有損替換，即將測序數據的值就近轉換為相應的質量值；所述步驟F將質量值信息統一還原為相應數據。

采用上述方法，本發明具有以下的技術效果：

1. 由于標準DNA序列數據庫保存在數據處理設備中，因此，DNA測序數據中包含的大量信息可以通過標準DNA序列數據庫的編號表示，因此，經過DNA測序數據的預處理步驟后的數據容量大大降低，再經過進一步壓縮，容量更小，是的DNA測序數據的存儲空間更小，數據傳輸效率更高，與第二代測序技術甚至是第三代測序技術的產出數據相匹配。

2. 采用有損壓縮對DNA測序數據進行預處理，使得壓縮后的文件容量更小，傳輸效率更高，并且具有保障數據的基本準確。

3. 設置B.去噪音步驟，將低質量數據和異常數據去除，從而不需要存儲或傳輸這部分低質量數據和異常數據，從而使得數據容量減小，加快數據傳輸。