[發(fā)明專利]一種基因變異數(shù)據(jù)分布式存儲方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201711267170.6
• 申請日: 2017-12-05
• 公開（公告）號: CN108563923B
• 公開（公告）日: 2020-08-18
• 發(fā)明（設(shè)計(jì)）人: 董守斌;王博;董守玲;袁華
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G16C20/90
• 分類號: G16C20/90;G16C20/70
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

本發(fā)明公開了一種基因變異數(shù)據(jù)分布式存儲方法及系統(tǒng)，該方法包括分布式數(shù)據(jù)存儲過程、分布式位圖索引創(chuàng)建過程和分布式查詢檢索過程；該系統(tǒng)包括分布式列式存儲模塊、分布式位圖索引模塊和查詢檢索模塊。本發(fā)明通過采用新的列式存儲引擎kudu進(jìn)行數(shù)據(jù)分布式存儲，并針對各樣本列建立分布式局部位圖索引，有效解決現(xiàn)有的HDFS方案隨機(jī)數(shù)據(jù)訪問性能低的問題；解決HBase方案批量分析性能不佳的問題；簡化存儲架構(gòu)模型；解決基因型查詢工具對多個工具依賴的限制問題；同時本發(fā)明通過分布式的局部位圖索引方案，實(shí)現(xiàn)了高并發(fā)，并提高了可拓展性。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)存儲領(lǐng)域，尤其是指一種基于列式存儲和位圖索引的基因變異數(shù)據(jù)分布式存儲方法及系統(tǒng)。

背景技術(shù)

隨著基因測序技術(shù)的長足發(fā)展以及人們對個性化醫(yī)療的迫切需要，全基因組關(guān)聯(lián)分析成為當(dāng)下越來越熱門的一個研究領(lǐng)域。全基因組關(guān)聯(lián)分析依賴于大規(guī)模的基因變異檢測數(shù)據(jù)，這些數(shù)據(jù)屬于典型的大數(shù)據(jù)范疇，不同存儲架構(gòu)的數(shù)據(jù)組織方式、索引方式、拓展方式等會對數(shù)據(jù)的檢索分析產(chǎn)生很大的影響。全基因組關(guān)聯(lián)分析場景既需要低時延的隨機(jī)讀取性能，又需要高效的批量讀寫性能，不合適的存儲架構(gòu)可能會導(dǎo)致效率低下、模型復(fù)雜、可拓展性低等問題，需要設(shè)計(jì)合適的存儲架構(gòu)來提高全基因組關(guān)聯(lián)分析的效率。

基于Hadoop分布式文件系統(tǒng)(HDFS)的存儲方案將變異檢測文件(VCF文件)以Block塊的形式存儲在多個節(jié)點(diǎn)上，可擴(kuò)展性強(qiáng)，可以高效地響應(yīng)批量分析任務(wù)，但是它不能提供低延遲的隨機(jī)數(shù)據(jù)訪問，也無法提供數(shù)據(jù)更新操作。基于HBase的存儲方案采用鍵值對的形式存儲VCF文件，HBase是一個分布式數(shù)據(jù)庫，可以方便的拓展到多個節(jié)點(diǎn)上，基于HBase可以實(shí)現(xiàn)低延遲的隨機(jī)讀寫，但是因?yàn)镠Base是列簇式存儲，且存儲的是鍵值對，它的scan開銷比較大，無法實(shí)現(xiàn)高效的批量分析操作。基于HDFS+HBase的混合架構(gòu)可以實(shí)現(xiàn)低延遲的隨機(jī)讀寫及高效的批量分析，但是這種架構(gòu)的模型復(fù)雜，數(shù)據(jù)維護(hù)成本大，且數(shù)據(jù)從生成到能夠被批量分析的數(shù)據(jù)流延遲大。此外，還有一些基因型查詢工具，如gqt，它在VCF文件的基礎(chǔ)上創(chuàng)建位圖索引來加速檢索，但是這種工具僅能完成場景需要的部分功能，更復(fù)雜的查詢需要組合多個工具，而且這些工具多是單節(jié)點(diǎn)處理的，可拓展性差。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提出了一種基于列式存儲和位圖索引的基因變異數(shù)據(jù)分布式存儲方法及系統(tǒng)，通過采用新的列式存儲引擎kudu進(jìn)行數(shù)據(jù)分布式存儲，并針對各樣本列建立分布式局部位圖索引，有效解決現(xiàn)有的HDFS方案隨機(jī)數(shù)據(jù)訪問性能低的問題；解決HBase方案批量分析性能不佳的問題；簡化存儲架構(gòu)模型；解決基因型查詢工具對多個工具依賴的限制問題；同時本發(fā)明通過分布式的局部位圖索引方案，實(shí)現(xiàn)了高并發(fā)，并提高了可拓展性。

為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：

一種基因變異數(shù)據(jù)分布式存儲方法，包括分布式數(shù)據(jù)存儲過程、分布式位圖索引創(chuàng)建過程和分布式查詢檢索過程；

所述分布式數(shù)據(jù)存儲過程包括以下步驟：

S1、對VCF文件進(jìn)行預(yù)處理，將VCF頭部切除，將VCF文件縱向切分成元數(shù)據(jù)信息和樣本基因型信息兩部分，并將樣本基因型數(shù)據(jù)進(jìn)一步縱向切分成所需大小的數(shù)據(jù)集；

S2、對步驟S1中的各份數(shù)據(jù)，在列式存儲kudu中創(chuàng)建對應(yīng)的元數(shù)據(jù)表及樣本表，根據(jù)VCF文件中的表頭信息，指定各表的列名、列屬性、主鍵列，并采用鍵值對保存樣本與樣本所屬表格的對應(yīng)關(guān)系；

S3、為步驟S2中各個表指定統(tǒng)一的分區(qū)方式，即將表水平切分成多個tablet 分片；

S4、將步驟S1預(yù)處理后的數(shù)據(jù)加載到前述步驟所創(chuàng)建的kudu表格中；

所述分布式位圖索引創(chuàng)建過程包括以下步驟：

S5、掃描kudu中樣本表各數(shù)據(jù)列，統(tǒng)計(jì)各列的屬性基數(shù)并記錄屬性值；