[發明專利]數據合并處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210657292.0
• 申請日: 2022-06-10
• 公開（公告）號: CN115114309A
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 余江濤;安雄博;吳海英;劉德華;蔣寧;曾琳鋮曦;馮仕炳
• 申請（專利權）人: 馬上消費金融股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/25;G06F16/27
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 彭瑞欣;馮建基

本公開提供了一種數據合并處理方法、裝置、電子設備及存儲介質，該方法包括：在滿足合并觸發條件的情況下，根據合并觸發條件的條件類型，將N個分片服務節點中與條件類型相匹配的分片服務節點確定為目標分片服務節點；根據合并觸發條件的條件類型對應的確定規則，從目標分片服務節點存儲的多個分片數據中，確定與目標分片服務節點相對應的待合并的目標分片數據；向目標分片服務節點發送合并處理指令，以供目標分片服務節點根據合并處理指令對目標分片數據進行合并操作。本公開提供的數據合并處理方法，有利于節省系統資源，并且通過靈活設定合并觸發條件，能夠使合并操作的執行時機以及執行方式更加符合業務需求，能夠適應多種應用場景。

技術領域

本公開涉及數據處理技術領域，特別涉及一種數據合并處理方法、裝置、電子設備及存儲介質。

背景技術

在數據庫中，尤其在列式數據庫集群中，經常需要進行數據合成(compact)操作，以將數據存儲單位中的數據進行合并，從而實現提升數據的讀寫效率、清除失效文件等目的。以列式數據庫集群為Hbase數據庫為例，目前，Hbase中執行合并操作通常采用如下方式：設置預設自然日周期，在預設自然日周期到達時，隨機選定時間對Hbase中的所有分片服務節點中的分片數據執行合并操作。采用這種方式，只能針對所有的分片服務節點都執行合并操作，從而導致執行時間長以及對系統資源占用較大，并且，模式單一，只能夠適用于定時執行的應用場景。

發明內容

本公開提供一種數據合并處理方法、裝置、電子設備及存儲介質。

第一方面，本公開提供了一種數據合并處理方法，包括：

應用于列式數據庫集群，所述列式數據庫集群包括N個分片服務節點和管理節點，每個分片服務節點中存儲多個分片數據；N為大于1的整數；所述方法由所述管理節點執行，所述方法包括：

在滿足合并觸發條件的情況下，根據所述合并觸發條件的條件類型，將所述N個分片服務節點中與所述條件類型相匹配的分片服務節點確定為目標分片服務節點；

根據所述合并觸發條件的條件類型對應的確定規則，從所述目標分片服務節點存儲的多個分片數據中，確定與所述目標分片服務節點相對應的待合并的目標分片數據；

向所述目標分片服務節點發送合并處理指令，以供所述目標分片服務節點根據所述合并處理指令對所述目標分片數據進行合并操作。

第二方面，本公開提供了一種數據合并處理裝置，包括：

確認單元，用于在滿足合并觸發條件的情況下，根據所述合并觸發條件的條件類型，將所述N個分片服務節點中與所述條件類型相匹配的分片服務節點確定為目標分片服務節點；

所述確認單元，還用于根據所述合并觸發條件的條件類型對應的確定規則，從所述目標分片服務節點存儲的多個分片數據中，確定與所述目標分片服務節點相對應的待合并的目標分片數據；

發送單元，用于向所述目標分片服務節點發送合并處理指令，以供所述目標分片服務節點根據所述合并處理指令對所述目標分片數據進行合并操作。

第三方面，本公開提供了一種電子設備，該電子設備包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的一個或多個計算機程序，一個或多個所述計算機程序被所述至少一個處理器執行，以使所述至少一個處理器能夠執行上述方法。

第四方面，本公開提供了一種計算機可讀存儲介質，其上存儲有計算機程序，其中，所述計算機程序在被處理器/處理核執行時實現上述方法。