[發(fā)明專利]基因組數(shù)據(jù)的存儲(chǔ)傳輸備份管理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110367987.0
• 申請(qǐng)日: 2021-04-06
• 公開(kāi)（公告）號(hào): CN113204519A
• 公開(kāi)（公告）日: 2021-08-03
• 發(fā)明（設(shè)計(jì)）人: 馬旭;陳翠霞;曹宗富;蔡瑞琨;李乾;殷哲
• 申請(qǐng)（專利權(quán)）人: 國(guó)家衛(wèi)生健康委科學(xué)技術(shù)研究所
• 主分類號(hào): G06F16/11
• 分類號(hào): G06F16/11;G06F16/13;G06F21/62;G06F11/10
• 代理公司: 北京市萬(wàn)慧達(dá)律師事務(wù)所 11111
• 代理人: 黃玉東

1.一種基因組數(shù)據(jù)的存儲(chǔ)傳輸備份管理裝置，其特征在于，包括：

數(shù)據(jù)接收模塊，用于接收用戶上傳的基因組數(shù)據(jù)文件；

校驗(yàn)核查模塊，根據(jù)所述基因組數(shù)據(jù)文件的格式采用匹配的核查規(guī)則進(jìn)行格式校驗(yàn)，并對(duì)所述基因組數(shù)據(jù)文件進(jìn)行完整性檢驗(yàn)；

傳輸存儲(chǔ)模塊，用于構(gòu)建互聯(lián)互通的本地集群和遠(yuǎn)程集群，在所述本地集群和/或所述遠(yuǎn)程集群中存儲(chǔ)所述基因組數(shù)據(jù)文件，實(shí)現(xiàn)對(duì)所述基因組數(shù)據(jù)文件歸檔管理。

2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述數(shù)據(jù)接收模塊包括：

線下接收單元，用于將包括所述基因組數(shù)據(jù)文件的存儲(chǔ)介質(zhì)與所述本地集群或所述遠(yuǎn)程集群中的節(jié)點(diǎn)連接，上傳所述基因組數(shù)據(jù)文件；

線上接收單元，用于通過(guò)客戶端將所述基因組數(shù)據(jù)文件上傳至所述本地集群中節(jié)點(diǎn)的指定目錄下或上傳至所述遠(yuǎn)程集群的節(jié)點(diǎn)中，所述指定目錄下的所述基因組數(shù)據(jù)文件僅對(duì)指定的用戶公開(kāi)；

所述基因組數(shù)據(jù)文件中包括用于表示基因組數(shù)據(jù)文件完整性的md5信息屬性文件。

3.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于，所述本地集群和所述遠(yuǎn)程集群通過(guò)專網(wǎng)結(jié)合VPN相互連接。

4.根據(jù)權(quán)利要求2所述的裝置，其特征在于，所述校驗(yàn)核查模塊包括：

路由設(shè)置單元，用于設(shè)置多種數(shù)據(jù)路由方案，并根據(jù)用戶上傳基因組數(shù)據(jù)文件的方式選擇其中一種數(shù)據(jù)路由方案執(zhí)行所述基因組數(shù)據(jù)文件的上傳流轉(zhuǎn)；

規(guī)范化核查單元，用于調(diào)用與基因組數(shù)據(jù)文件格式匹配的核查規(guī)則對(duì)所述基因組數(shù)據(jù)文件進(jìn)行格式校驗(yàn)，獲取格式校驗(yàn)通過(guò)的基因組數(shù)據(jù)文件；

完整性核查單元，用于通過(guò)每個(gè)基因組數(shù)據(jù)文件對(duì)應(yīng)的md5信息屬性文件進(jìn)行完整性校驗(yàn)，獲取完整性檢驗(yàn)通過(guò)的基因組數(shù)據(jù)文件。

5.根據(jù)權(quán)利要求4所述的裝置，其特征在于，所述傳輸存儲(chǔ)模塊包括：

上傳單元，用于根據(jù)所選的數(shù)據(jù)路由方案實(shí)現(xiàn)所述基因組數(shù)據(jù)文件在本地集群中的本地備份和/或在遠(yuǎn)程集群中的遠(yuǎn)程備份，所述本地備份和所述遠(yuǎn)程備份采用多任務(wù)并行處理方案；

增量備份單元，用于將源端準(zhǔn)備上傳的所述基因組數(shù)據(jù)文件定義為源文件，以及將目標(biāo)端備份的所述基因組數(shù)據(jù)文件定義為目標(biāo)文件，識(shí)別出源文件與目標(biāo)文件的增量字節(jié)部分，然后僅將增量字節(jié)部分上傳至目標(biāo)端；

增量還原單元，用于根據(jù)目標(biāo)端中接收的增量字節(jié)部分及對(duì)照的目標(biāo)文件還原出源文件；

歸檔管理單元，用于將目標(biāo)端還原的源文件備定義為目標(biāo)文件后分類存儲(chǔ)。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，識(shí)別出源文件與目標(biāo)文件的增量字節(jié)部分，然后僅將增量字節(jié)部分上傳至目標(biāo)端的方法包括：

S1：將目標(biāo)文件按照固定尺度切分成多個(gè)目標(biāo)字節(jié)塊并編號(hào)，采用弱校驗(yàn)和算法對(duì)各編號(hào)的目標(biāo)字節(jié)塊進(jìn)行弱哈希計(jì)算，以及采用強(qiáng)校驗(yàn)和算法對(duì)各編號(hào)的目標(biāo)字節(jié)塊進(jìn)行強(qiáng)哈希計(jì)算，同時(shí)將所述弱校驗(yàn)和算法、強(qiáng)校驗(yàn)和算法、目標(biāo)字節(jié)塊編號(hào)及對(duì)應(yīng)的哈希值打包發(fā)送至源端；

S2：以所述固定尺度為窗口從源文件中的第1個(gè)字節(jié)開(kāi)始截取源字節(jié)塊并采用弱校驗(yàn)和算法進(jìn)行弱哈希計(jì)算，在當(dāng)前源字節(jié)塊的弱哈希計(jì)算結(jié)果與任一目標(biāo)字節(jié)塊的弱哈希計(jì)算結(jié)果相同時(shí)，再采用強(qiáng)校驗(yàn)和算法進(jìn)行強(qiáng)哈希計(jì)算，直至當(dāng)前源字節(jié)塊的強(qiáng)哈希計(jì)算結(jié)果與所述目標(biāo)字節(jié)塊的強(qiáng)哈希計(jì)算結(jié)果也相同時(shí)，對(duì)當(dāng)前源字節(jié)塊進(jìn)行順序編號(hào)并認(rèn)為當(dāng)前源字節(jié)塊與目標(biāo)字節(jié)塊相同，同時(shí)記錄所述當(dāng)前源字節(jié)塊與所述目標(biāo)字節(jié)塊的編號(hào)匹配關(guān)系，順移至下一個(gè)固定尺度重新截取源字節(jié)塊并重復(fù)上述哈希計(jì)算；

S3：在當(dāng)前源字節(jié)塊的弱哈希計(jì)算結(jié)果與任一目標(biāo)字節(jié)塊的弱哈希計(jì)算結(jié)果不同時(shí)，則以固定尺度為窗口順移1個(gè)字節(jié)截取源字節(jié)塊并采用弱校驗(yàn)和算法進(jìn)行弱哈希計(jì)算，在當(dāng)前源字節(jié)塊的弱哈希計(jì)算結(jié)果與任一目標(biāo)字節(jié)塊的弱哈希計(jì)算結(jié)果相同時(shí)，再采用強(qiáng)校驗(yàn)和算法進(jìn)行強(qiáng)哈希計(jì)算，直至當(dāng)前源字節(jié)塊的強(qiáng)哈希計(jì)算結(jié)果與所述目標(biāo)字節(jié)塊的強(qiáng)哈希計(jì)算結(jié)果也相同時(shí)，對(duì)當(dāng)前源字節(jié)塊進(jìn)行順序編號(hào)并認(rèn)為當(dāng)前源字節(jié)塊與目標(biāo)字節(jié)塊相同，同時(shí)記錄所述當(dāng)前源字節(jié)塊與所述目標(biāo)字節(jié)塊的編號(hào)匹配關(guān)系；

S4：提取源文件中未被匹配的字節(jié)作為增量字節(jié)部分，連同各未被匹配字節(jié)與各編號(hào)源字節(jié)塊的關(guān)系一同上傳至目標(biāo)端。