[發明專利]日志數據備份方法、裝置、設備及存儲介質

在審

• 申請號: 202110348113.0
• 申請日: 2021-03-31
• 公開（公告）號: CN112905390A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 馬騁原;張良友;張紹震
• 申請（專利權）人: 恒生電子股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/18;G06F16/172
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 曹瑞敏

本申請提供了一種日志數據備份方法、裝置、設備及存儲介質，日志數據備份方法包括：從第一集群中每個區域服務的預寫日志文件中采集每個區域服務對應的多條日志記錄，每個區域服務預先分配有至少一個預分配存儲區域，從至少一個預分配存儲區域中分別確定每條日志記錄對應的目標存儲區域，采用目標存儲區域對應的目標解析線程，對每條日志記錄進行解析處理，得到每條日志記錄中的日志數據，對多條日志記錄中的日志數據進行備份。采用目標解析線程對日志記錄進行解析處理，實現了多線程分片并行處理日志記錄，各目標存儲區域之間不會互相干擾，使各目標存儲區域在串行解析的同時也能保證高吞吐量，并且無需對HBase集群的配置進行額外調整。

技術領域

本申請涉及計算機技術領域，具體而言，涉及一種日志數據備份方法、裝置、設備及存儲介質。

背景技術

HBase(Hadoop Database)是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBase技術可在個人電腦服務器上搭建起大規模結構化存儲集群。

相關技術中，HBase的預寫日志(Write Ahead Log，WAL)機制提供了一種高并發、持久化的日志保存與回放的功能，每次執行業務數據的寫入操作時，都會將該數據對應的日志記錄在日志文件中，因此，基于HBase的復制(Replication)功能，通過日志文件的獲取和回放能夠實現HBase集群間的業務數據的同步。

然而，在對日志文件進行備份過程中，需要對HBase集群配置做一定的調整，并且基于Replication功能無法對壓縮的日志文件進行解析。

發明內容

本申請的目的在于，針對上述現有技術中的不足，提供一種日志數據備份方法、裝置、設備及存儲介質，以實現多線程分片并行處理日志記錄，各目標存儲區域之間不會互相干擾，使各目標存儲區域在串行解析的同時也能保證高吞吐量，并且無需對HBase集群的配置進行額外調整。

第一方面，本申請一實施例提供了一種問答模型訓練方法，方法包括：

從第一集群中每個區域服務的預寫日志文件中采集每個區域服務對應的多條日志記錄，其中，每個區域服務預先分配有至少一個預分配存儲區域，第一集群為HBase集群；

從至少一個預分配存儲區域中分別確定每條日志記錄對應的目標存儲區域；

采用目標存儲區域對應的目標解析線程，對每條日志記錄進行解析處理，得到每條日志記錄中的日志數據；

對多條日志記錄中的日志數據進行備份。

可選地，采用目標存儲區域對應的目標解析線程，對每條日志記錄進行解析處理，得到每條日志記錄中的日志數據，包括：

采用目標解析線程，將每條日志記錄反序列化為單位對象；

根據預設的開始字符和讀取長度，從單位對象中讀取字節數組；

將讀取到的字節數組寫入預設的數據對象，得到每條日志記錄中的日志數據。

可選地，根據預設的開始字符和讀取長度，從單位對象中讀取字節數組，包括：

根據每個屬性特征對應的開始字符和讀取長度，從單位對象中讀取每個屬性特征；字節數組包括：讀取到的至少一個屬性特征。

可選地，每個區域服務還具有遷移存儲區域，遷移存儲區域為從其他區域服務遷移的存儲區域；

采用目標存儲區域對應的目標解析線程，對每條日志記錄進行解析處理，得到每條日志記錄中的日志數據，包括：

若待解析日志記錄對應的目標存儲區域為遷移存儲區域，獲取其他區域服務中最新解析的日志記錄的第一序列標識，與待解析日志記錄的第二序列標識的偏差；