[發明專利]一種生物信息深度挖掘分析系統的架構構建方法

在審

• 申請號: 202011124509.9
• 申請日: 2020-10-20
• 公開（公告）號: CN112151114A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 王婷;劉娟;崔運鵬;石運來;張晨;霍夢佳;趙艷博
• 申請（專利權）人: 中國農業科學院農業信息研究所
• 主分類號: G16B20/20
• 分類號: G16B20/20;G16B10/00;G06N20/00
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 申星宇

本發明公開了一種生物信息深度挖掘分析系統的架構構建方法，包括如下步驟：S1：構建高通量計算一體化集群網絡環境；S2：集成生物信息工具，形成生物信息挖掘分析方法調用庫和生物信息挖掘分析流程模板；S3：基于PiFlow框架構建面向生物信息深度挖掘分析的圖形化工作流模型；S4：基于Spark Streaming構建生物信息挖掘分析任務的調度和處理模型本發明具有提高多個挖掘分析工具之間的數據交換性能，降低挖掘分析過程的復雜程度，減少挖掘分析任務尤其是多個任務并發場景下的執行時間等優點。

技術領域

本發明涉及生物信息學技術領域，尤其涉及一種生物信息深度挖掘分析系統的架構構建方法，是一種一站式生物信息數據挖掘分析方法。

背景技術

高通量測序技術與云計算、人工智能、物聯網等新興應用的快速發展使得生物信息數據呈現爆發式的增長，產生了無法估量的動物基因型數據、表型數據、環境數據、育種實驗數據、文獻數據等。而當前畜牧業動物遺傳育種研究中科研條件、專業領域、自身能力的局限性，導致這些數據的挖掘分析十分有限，主要表現在以下幾個方面：

(1)高通量基因組學分析及其相關生物信息分析軟件的部署使用，對高性能計算環境的要求較高，大部分研究團隊的平臺架構、計算能力、計算網絡等均無法滿足其需求。

(2)動物遺傳育種數據涉及動物的基因序列、生物性狀、氣候、養殖區域等。這些原始數據未經過加工，存在數據項缺失、數據錄入錯誤、超出值域、空值未處理、噪音數據過多等問題，在使用前需要進一步加工處理。同時這些數據通常由不同學科不同領域的團隊產生，分布在不同的數據庫中，具有多源異構的特點：量綱不同，尺度不同，預處理方法不同，無法直接進行關聯分析。于是基于此進行數據治理便成為動物多組學研究中必不可少的一個環節，而數據治理作為一項專業性很強的工作，需要在掌握相關理論方法和工具的基礎上，對大規模數據進行加工和質量保證，并構建可用于直接進行主題分析的數據倉庫。

(3)對于動物多組學數據的挖掘分析，合適的生物信息學工具是關鍵。而現有的挖掘分析軟件通常不易部署升級且使用門檻很高，不僅需要高性能計算環境，還需要計算機科學領域的知識。

這些工作于任何一個專業動物遺傳育種研究團隊都是巨大的挑戰，且多個團隊同時進行，容易導致研究工作的重復和基礎設施建設的冗余。所以，畜牧業動物遺傳育種研究亟需為多個團隊構建統一多組學數據挖掘分析環境，以便讓更多的研究人員可以低學習成本且高效地挖掘分析動物遺傳育種相關的數據資源，從而發揮數據的最大價值。

發明內容

本發明的目的是針對上述問題，提供一種生物信息深度挖掘分析系統的架構構建方法，該架構設計方法解決了當前生物信息深度挖掘分析中存在的計算性能低下、分析工具難以使用、分析過程復雜、分析過程緩慢等問題，構建一種生物信息深度挖掘分析系統。

為了實現上述目的，本發明的技術方案是：

一種生物信息深度挖掘分析系統的架構構建方法，包括如下步驟：

S1：構建高通量計算一體化集群網絡環境；

S2：集成生物信息工具，形成生物信息挖掘分析方法、工具和流程調用庫；

S3：基于PiFlow框架構建面向生物信息深度挖掘分析的圖形化工作流模型；

S4：基于Spark Streaming構建生物信息挖掘分析任務的調度和處理模型。

作為對上述技術方案的改進，所述高通量計算一體化集群網絡包括管理網絡、計算網絡和100Gb超算網絡；所述管理網絡用于服務器的連接和監管；所述計算網絡用于需要分布式計算的作業場景中的服務器連接；所述100Gb超算網絡用于需要高吞吐量計算和單個作業數據容量過大的作業場景中的服務器連接。