[發(fā)明專利]日志數(shù)據(jù)備份方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110348113.0
• 申請日: 2021-03-31
• 公開（公告）號: CN112905390A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 馬騁原;張良友;張紹震
• 申請（專利權(quán)）人: 恒生電子股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/18;G06F16/172
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 曹瑞敏

1.一種日志數(shù)據(jù)備份方法，其特征在于，包括：

從第一集群中每個區(qū)域服務(wù)的預(yù)寫日志文件中采集所述每個區(qū)域服務(wù)對應(yīng)的多條日志記錄，其中，每個區(qū)域服務(wù)預(yù)先分配有至少一個預(yù)分配存儲區(qū)域，第一集群為HBase集群；

從所述至少一個預(yù)分配存儲區(qū)域中分別確定每條日志記錄對應(yīng)的目標(biāo)存儲區(qū)域；

采用所述目標(biāo)存儲區(qū)域?qū)?yīng)的目標(biāo)解析線程，對所述每條日志記錄進(jìn)行解析處理，得到所述每條日志記錄中的日志數(shù)據(jù)；

對所述多條日志記錄中的日志數(shù)據(jù)進(jìn)行備份。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采用所述目標(biāo)存儲區(qū)域?qū)?yīng)的目標(biāo)解析線程，對所述每條日志記錄進(jìn)行解析處理，得到所述每條日志記錄中的日志數(shù)據(jù)，包括：

采用所述目標(biāo)解析線程，將所述每條日志記錄反序列化為單位對象；

根據(jù)預(yù)設(shè)的開始字符和讀取長度，從所述單位對象中讀取字節(jié)數(shù)組；

將讀取到的字節(jié)數(shù)組寫入預(yù)設(shè)的數(shù)據(jù)對象，得到所述每條日志記錄中的日志數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)預(yù)設(shè)的開始字符和讀取長度，從所述單位對象中讀取字節(jié)數(shù)組，包括：

根據(jù)每個屬性特征對應(yīng)的所述開始字符和所述讀取長度，從所述單位對象中讀取所述每個屬性特征；所述字節(jié)數(shù)組包括：讀取到的至少一個屬性特征。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述每個區(qū)域服務(wù)還具有遷移存儲區(qū)域，所述遷移存儲區(qū)域為從其他區(qū)域服務(wù)遷移的存儲區(qū)域；

所述采用所述目標(biāo)存儲區(qū)域?qū)?yīng)的目標(biāo)解析線程，對所述每條日志記錄進(jìn)行解析處理，得到所述每條日志記錄中的日志數(shù)據(jù)，包括：

若待解析日志記錄對應(yīng)的目標(biāo)存儲區(qū)域為所述遷移存儲區(qū)域，獲取所述其他區(qū)域服務(wù)中最新解析的日志記錄的第一序列標(biāo)識，與所述待解析日志記錄的第二序列標(biāo)識的偏差；

若所述偏差大于預(yù)設(shè)的標(biāo)識單位偏差，則在所述其他區(qū)域服務(wù)中采用所述遷移存儲區(qū)域?qū)?yīng)的解析線程對所述第二序列標(biāo)識之前的日志記錄進(jìn)行解析；

在對所述第二序列標(biāo)識之前的日志記錄解析完成之后，在所述每個區(qū)域服務(wù)中采用所述遷移存儲區(qū)域?qū)?yīng)的解析線程，解析所述待解析日志記錄，得到所述待解析日志記錄中的日志數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從第一集群中每個區(qū)域服務(wù)的預(yù)寫日志文件中采集所述每個區(qū)域服務(wù)對應(yīng)的多條日志記錄，包括：

采用所述每個區(qū)域服務(wù)對應(yīng)的采集線程，從所述預(yù)寫日志文件中采集所述多條日志記錄。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述采用所述采集線程，從所述預(yù)寫日志文件中采集所述多條日志記錄，包括：

采用所述采集線程，從所述預(yù)寫日志文件中前一次讀取位置之后開始讀取預(yù)設(shè)讀取范圍內(nèi)的所述多條日志記錄。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述采用所述采集線程，從所述預(yù)寫日志文件中前一次讀取位置之后開始讀取預(yù)設(shè)讀取范圍內(nèi)的所述多條日志記錄，包括：

采用所述采集線程，判斷所述預(yù)寫日志文件中所述預(yù)設(shè)讀取范圍內(nèi)是否具有日志記錄；

若沒有日志記錄，則等待預(yù)設(shè)時長之后，從所述前一次讀取位置之后開始重新讀取所述預(yù)設(shè)讀取范圍內(nèi)的所述多條日志記錄。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從第一集群中每個區(qū)域服務(wù)的預(yù)寫日志文件中采集所述每個區(qū)域服務(wù)對應(yīng)的多條日志記錄之前，所述方法還包括：

根據(jù)所述每個區(qū)域服務(wù)對應(yīng)的預(yù)設(shè)日志存儲范圍，從所述第一集群的預(yù)寫日志文件中確定所述每個區(qū)域服務(wù)的預(yù)寫日志文件。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述至少一個預(yù)分配存儲區(qū)域中分別確定每條日志記錄對應(yīng)的目標(biāo)存儲區(qū)域，包括：

獲取所述每條日志記錄針對的業(yè)務(wù)數(shù)據(jù)在HBase數(shù)據(jù)庫中的存儲位置；

根據(jù)所述存儲位置和每個預(yù)分配存儲區(qū)域?qū)?yīng)的存儲位置范圍，確定所述每條日志記錄對應(yīng)的目標(biāo)存儲區(qū)域。