[發(fā)明專利]一種數(shù)據(jù)備份裝置、存儲方法及還原方法

有效

• 申請?zhí)枺?/td>: 202010433436.5
• 申請日: 2020-05-21
• 公開（公告）號: CN112286722B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 胡龍;周金明
• 申請（專利權(quán)）人: 南京行者易智能交通科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F11/10;G06F21/60;G06F9/48
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種數(shù)據(jù)備份裝置、存儲方法及還原方法，其中該裝置包括：客戶端、數(shù)據(jù)接入模塊、數(shù)據(jù)備份模塊、存儲單元、主業(yè)務(wù)服務(wù)器；數(shù)據(jù)接入模塊，用于接收客戶端的元數(shù)據(jù)、將元數(shù)據(jù)發(fā)送給主業(yè)務(wù)服務(wù)器、將元數(shù)據(jù)傳輸給數(shù)據(jù)備份模塊；數(shù)據(jù)備份模塊，用于接收數(shù)據(jù)接入模塊傳輸?shù)脑獢?shù)據(jù)、采用多線程的方式將元數(shù)據(jù)按批次寫入到存儲單元、還原指定時間范圍內(nèi)的元數(shù)據(jù)；通過以數(shù)據(jù)批次的格式存儲在文件中，并且批次中的數(shù)據(jù)都是壓縮和加密過的，不僅提高了存儲效率，也保證了數(shù)據(jù)的安全性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲技術(shù)和數(shù)據(jù)處理技術(shù)研究領(lǐng)域，具體涉及一種數(shù)據(jù)備份裝置、存儲方法及還原方法。

背景技術(shù)

隨著信息時代的來臨，數(shù)據(jù)安全越來越受到人們的重視，其中，及時的數(shù)據(jù)備份是保證數(shù)據(jù)安全的一種有效手段。在實(shí)現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題：通常采用定時備份，每天對前一天的數(shù)據(jù)進(jìn)行一次備份，采用順序存儲的方式備份各個文件，需要讀取前一個文件的數(shù)據(jù)并完成前一個文件數(shù)據(jù)的備份后再對下一個文件進(jìn)行備份；現(xiàn)有的備份方法只能備份前一天的數(shù)據(jù)，并且順序存儲的備份方式效率低下而且空間占用也比較高。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本公開實(shí)施例提供了一種數(shù)據(jù)備份裝置、存儲方法及還原方法，可以提高數(shù)據(jù)備份的效率。技術(shù)方案如下：

第一方面：本公開實(shí)施例提供了一種數(shù)據(jù)備份裝置，該裝置包括：客戶端、數(shù)據(jù)接入模塊、數(shù)據(jù)備份模塊、存儲單元、主業(yè)務(wù)服務(wù)器。

所述數(shù)據(jù)接入模塊，用于接收客戶端的元數(shù)據(jù)、將元數(shù)據(jù)發(fā)送給主業(yè)務(wù)服務(wù)器、將元數(shù)據(jù)傳輸給數(shù)據(jù)備份模塊。

所述數(shù)據(jù)備份模塊，用于接收數(shù)據(jù)接入模塊傳輸?shù)脑獢?shù)據(jù)、采用多線程的方式將元數(shù)據(jù)按批次寫入到存儲單元、還原指定時間范圍內(nèi)的元數(shù)據(jù)。所述還原指定時間范圍內(nèi)的元數(shù)據(jù)，具體為：采用多線程的方式從存儲單元中讀取需要還原的時間段的數(shù)據(jù)，將數(shù)據(jù)進(jìn)行解密和解壓縮后得到元數(shù)據(jù)，然后將元數(shù)據(jù)傳輸給數(shù)據(jù)接入模塊。

數(shù)據(jù)以數(shù)據(jù)批次的格式存儲在文件中，提高了存儲效率，并且批次中的數(shù)據(jù)都是壓縮和加密過的，提高了備份的效率的同時也保證了數(shù)據(jù)的安全性，極大的減小了空間開銷，降低了磁盤空間占用。

優(yōu)選的，所述數(shù)據(jù)接入模塊，在接收客戶端的元數(shù)據(jù)的同時，將元數(shù)據(jù)發(fā)送給主業(yè)務(wù)服務(wù)器、傳輸給數(shù)據(jù)備份模塊；所述數(shù)據(jù)備份模塊，在接收數(shù)據(jù)接入模塊傳輸?shù)脑獢?shù)據(jù)的同時，實(shí)時將元數(shù)據(jù)按批次寫入到存儲單元，達(dá)到實(shí)時備份的效果。

優(yōu)選的，數(shù)據(jù)備份模塊的數(shù)據(jù)備份方法具體為：數(shù)據(jù)備份模塊創(chuàng)建accept線程和多個write線程，accept線程負(fù)責(zé)接收數(shù)據(jù)接入模塊發(fā)送的元數(shù)據(jù)，accept線程將元數(shù)據(jù)分配給多個write線程，write線程將元數(shù)據(jù)寫入到對應(yīng)的緩沖區(qū)，若緩沖區(qū)數(shù)據(jù)的大小超過閾值，write線程將當(dāng)前緩沖區(qū)的元數(shù)據(jù)以數(shù)據(jù)批次的存儲格式存儲到存儲單元中；接收數(shù)據(jù)的accept線程和寫文件的write線程獨(dú)立開來，不會造成accept線程阻塞，提高了接收數(shù)據(jù)的IO性能；采用多個write線程將數(shù)據(jù)寫入到文件中，提高了備份的效率。

優(yōu)選的，數(shù)據(jù)批次的存儲格式具體包括：

batch?length：第1-4字節(jié)，存儲數(shù)據(jù)批次的總長度。

CRC32：第5-8字節(jié)，存儲整個數(shù)據(jù)批次字節(jié)的CRC32值。

attributes：第9字節(jié)，第1-3位存儲壓縮類型，第4-6位存儲加密算法類型，第7-8位為預(yù)留。

min?timestamp:第10-17字節(jié)，存儲當(dāng)前批次的元數(shù)據(jù)中的最小時間戳。

max?timestamp:第18-25字節(jié)，存儲當(dāng)前批次的元數(shù)據(jù)中的最大時間戳。

batch-storedata：可變長度，存儲當(dāng)前批次的所有數(shù)據(jù)壓縮和加密后的字節(jié)。