[發(fā)明專利]一種數(shù)據(jù)備份裝置、存儲方法及還原方法

有效

• 申請?zhí)枺?/td>: 202010433436.5
• 申請日: 2020-05-21
• 公開（公告）號: CN112286722B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 胡龍;周金明
• 申請（專利權(quán)）人: 南京行者易智能交通科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F11/10;G06F21/60;G06F9/48
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種數(shù)據(jù)備份裝置，其特征在于，該裝置包括：客戶端、數(shù)據(jù)接入模塊、數(shù)據(jù)備份模塊、存儲單元、主業(yè)務(wù)服務(wù)器；

所述數(shù)據(jù)接入模塊，用于接收客戶端的元數(shù)據(jù)、將元數(shù)據(jù)發(fā)送給主業(yè)務(wù)服務(wù)器、將元數(shù)據(jù)傳輸給數(shù)據(jù)備份模塊；

所述數(shù)據(jù)備份模塊，用于接收數(shù)據(jù)接入模塊傳輸?shù)脑獢?shù)據(jù)、采用多線程的方式將元數(shù)據(jù)按批次寫入到存儲單元、還原指定時(shí)間范圍內(nèi)的元數(shù)據(jù)；所述還原指定時(shí)間范圍內(nèi)的元數(shù)據(jù)，具體為：采用多線程的方式從存儲單元中讀取需要還原的時(shí)間段的數(shù)據(jù)，將數(shù)據(jù)進(jìn)行解密和解壓縮后得到元數(shù)據(jù)，然后將元數(shù)據(jù)傳輸給數(shù)據(jù)接入模塊；

數(shù)據(jù)備份模塊創(chuàng)建accept線程和多個(gè)write線程，accept線程負(fù)責(zé)接收數(shù)據(jù)接入模塊發(fā)送的元數(shù)據(jù)，accept線程將元數(shù)據(jù)分配給多個(gè)write線程，write線程將元數(shù)據(jù)寫入到對應(yīng)的緩沖區(qū)，若緩沖區(qū)數(shù)據(jù)的大小超過閾值，write線程將當(dāng)前緩沖區(qū)的元數(shù)據(jù)以數(shù)據(jù)批次的存儲格式存儲到存儲單元中，數(shù)據(jù)批次的存儲格式具體包括：

batch?length：第1-4字節(jié)，存儲數(shù)據(jù)批次的總長度；

CRC32：第5-8字節(jié)，存儲整個(gè)數(shù)據(jù)批次字節(jié)的CRC32值；

attributes：第9字節(jié)，第1-3位存儲壓縮類型，第4-6位存儲加密算法類型，第7-8位為預(yù)留；

min?timestamp:第10-17字節(jié)，存儲當(dāng)前批次的元數(shù)據(jù)中的最小時(shí)間戳；

max?timestamp:第18-25字節(jié)，存儲當(dāng)前批次的元數(shù)據(jù)中的最大時(shí)間戳；

batch-storedata：可變長度，存儲當(dāng)前批次的所有數(shù)據(jù)壓縮和加密后的字節(jié)。

2.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)備份裝置，其特征在于，所述數(shù)據(jù)接入模塊，在接收客戶端的元數(shù)據(jù)的同時(shí)，將元數(shù)據(jù)發(fā)送給主業(yè)務(wù)服務(wù)器、傳輸給數(shù)據(jù)備份模塊；所述數(shù)據(jù)備份模塊，在接收數(shù)據(jù)接入模塊傳輸?shù)脑獢?shù)據(jù)的同時(shí)，實(shí)時(shí)將元數(shù)據(jù)按批次寫入到存儲單元。

3.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)備份裝置，其特征在于，數(shù)據(jù)批次中每條數(shù)據(jù)的存儲格式，具體包括：

timestamp:第1-8字節(jié)，存儲元數(shù)據(jù)對應(yīng)的時(shí)間戳；

data?length:第9-12字節(jié)，存儲元數(shù)據(jù)字節(jié)的長度；

data:可變長度，起始地址為第13字節(jié)，長度為data?length，存儲元數(shù)據(jù)的字節(jié)。

4.一種數(shù)據(jù)存儲方法，其特征在于，該方法包括如下步驟：

根據(jù)權(quán)利要求1-3任一項(xiàng)所述的一種數(shù)據(jù)備份裝置，對于每個(gè)批次的元數(shù)據(jù)，將批次中元數(shù)據(jù)的最小時(shí)間戳min?timestamp存放在數(shù)據(jù)批次的10-17字節(jié)，最大時(shí)間戳maxtimestamp存放在18-25字節(jié)；

依次對數(shù)據(jù)批次中的每條元數(shù)據(jù)進(jìn)行處理，將元數(shù)據(jù)的時(shí)間戳存放在數(shù)據(jù)的1-8字節(jié)，將元數(shù)據(jù)的長度存放在數(shù)據(jù)的9-12字節(jié),將元數(shù)據(jù)的字節(jié)追加到上一條元數(shù)據(jù)的末尾；得到原始數(shù)據(jù)字節(jié)；

對原始數(shù)據(jù)字節(jié)進(jìn)行壓縮，并將attributes的1-3位設(shè)置為對應(yīng)的壓縮類型，然后對壓縮后的字節(jié)進(jìn)行加密，將attributes的4-6位設(shè)置為加密算法類型；

將壓縮加密后的數(shù)據(jù)字節(jié)填充到數(shù)據(jù)批次的batch-storedata，計(jì)算數(shù)據(jù)批次總長度batch?length，batch?length=25+壓縮加密后的數(shù)據(jù)字節(jié)長度，并將數(shù)據(jù)批次的1-4字節(jié)置設(shè)置為batch?length；

計(jì)算整個(gè)數(shù)據(jù)批次字節(jié)的CRC32值，并將CRC32值存放在數(shù)據(jù)批次的5-8字節(jié)；

生成數(shù)據(jù)批次的字節(jié)。

5.根據(jù)權(quán)利要求4所述的一種數(shù)據(jù)存儲方法，其特征在于，將數(shù)據(jù)批次的字節(jié)通過順序IO的方式寫入到存儲單元中相應(yīng)備份文件的末尾。