[發明專利]基因組數據的存儲傳輸備份管理方法及裝置

在審

• 申請號: 202110367987.0
• 申請日: 2021-04-06
• 公開（公告）號: CN113204519A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 馬旭;陳翠霞;曹宗富;蔡瑞琨;李乾;殷哲
• 申請（專利權）人: 國家衛生健康委科學技術研究所
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F21/62;G06F11/10
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 黃玉東

本發明公開一種基因組數據的存儲傳輸備份管理裝置及方法，涉及基因數據管理技術領域，能夠穩定安全、高效無損的對基因組數據的流轉過程進行管理。該裝置包括：數據接收模塊，用于接收用戶上傳的基因組數據文件；校驗核查模塊，根據基因組數據文件的格式采用匹配的核查規則進行格式校驗，并對基因組數據文件進行完整性檢驗；傳輸存儲模塊，用于構建互聯互通的本地集群和遠程集群，在本地集群和/或遠程集群中存儲基因組數據文件，實現對基因組數據文件歸檔管理。該方法應用于上述方案所提的裝置。

技術領域

本發明涉及基因數據管理技術領域，尤其涉及一種基因組數據的存儲傳輸備份存儲管理方法。

背景技術

隨著下一代高通量測序技術的發展海量的基因組數據與日俱增，這些基因組數據在測序服務商處經歷測序下機、組裝拼接、通用分析、存儲傳輸(硬盤拷貝寄返或云端釋放)等流轉過程，隨后，在遺傳診療研究人員處又經歷接收數據(硬盤對拷或云端下載到目標盤)、清洗整理(按照遺傳解讀云平臺對輸入數據的規范要求進行手工登記和格式規范化整理)、無損校驗(對數據完整性的md5校驗)、數據備份(在云平臺底層按來源、日期等屬性信息進行備份)、導入云平臺等流轉過程。

由此可見，高通量數據的整個生命周期鏈條較長、人類基因組數據過于龐大和復雜、負責測序、序列信息解讀、醫學遺傳學解讀、遺傳診療的人員分散各地，與日激增的人類基因組測序數據需要在各處流轉處理分析解讀，這就需要大量的專業人員的人工參與；另外這些數據量很大，動則幾百G，幾個T甚至幾個P，來源于不同測序公司的不同測序平臺，所以數據格式、結構各異，涉及個人隱私等問題，因此對于高通量測序數據的安全穩定存儲、無損高效傳輸、專業解讀和保密性方面均提出嚴峻挑戰。

發明內容

本發明的目的在于提供一種基因組數據的存儲傳輸備份管理方法及裝置，能夠穩定安全、高效無損的對基因組數據的流轉過程進行管理。

為了實現上述目的，本發明的第一方面提供一種基因組數據的存儲傳輸備份管理裝置，包括：

數據接收模塊，用于接收用戶上傳的基因組數據文件；

校驗核查模塊，根據所述基因組數據文件的格式采用匹配的核查規則進行格式校驗，并對所述基因組數據文件進行完整性檢驗；

傳輸存儲模塊，用于構建互聯互通的本地集群和遠程集群，在所述本地集群和/或所述遠程集群中存儲所述基因組數據文件，實現對所述基因組數據文件歸檔管理。

優選地，所述數據接收模塊包括：

線下接收單元，用于將包括所述基因組數據文件的存儲介質與所述本地集群或所述遠程集群中的節點連接，上傳所述基因組數據文件；

線上接收單元，用于通過客戶端將所述基因組數據文件上傳至所述本地集群中節點的指定目錄下或上傳至所述遠程集群的節點中，所述指定目錄下的所述基因組數據文件僅對指定的用戶公開；

所述基因組數據文件中包括用于表示基因組數據文件完整性的md5信息屬性文件。

較佳地，所述本地集群和所述遠程集群通過專網結合VPN相互連接。

優選地，所述校驗核查模塊包括：

路由設置單元，用于設置多種數據路由方案，并根據用戶上傳基因組數據文件的方式選擇其中一種數據路由方案執行所述基因組數據文件的上傳流轉；

規范化核查單元，用于調用與基因組數據文件格式匹配的核查規則對所述基因組數據文件進行格式校驗，獲取格式校驗通過的基因組數據文件；

完整性核查單元，用于通過每個基因組數據文件對應的md5信息屬性文件進行完整性校驗，獲取完整性檢驗通過的基因組數據文件。

進一步地，所述傳輸存儲模塊包括：