[發明專利]HBase數據清理方法及裝置

在審

• 申請號: 202110538879.5
• 申請日: 2021-05-18
• 公開（公告）號: CN113515509A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 梁曄華;張世瑛;趙吉昆;楊嘉欣
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27;G06F16/22
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 任默聞;王濤

本申請實施例提供一種HBase數據清理方法及裝置，可用于大數據技術領域，方法包括：若HBase集群當前處于文件合并期間，則在該HBase集群中查找當前存儲數據時長超過超時閾值的目標數據表，并獲取該目標數據表當前的目標批次標識；自所述目標數據表中清理帶有所述目標批次標識的數據，其中，所述目標批次標識預先添加至所述目標數據表中被用戶操作的數據中。本申請能夠有效降低HBase集群中主節點的運行壓力，并能夠提高HBase數據清理過程的可靠性及效率，提高HBase集群的整體性能及運行穩定性。

技術領域

本申請涉及數據處理技術領域，特別涉及大數據技術領域，具體涉及HBase數據清理方法及裝置。

背景技術

分布式列式存儲數據庫HBase的體系結構主要包含主節點Master和從節點RegionServer兩部分，在涉及對表進行增、刪、改、查等操作時，需要主節點Master對外部請求進行管理和傳遞。

目前，對HBase進行數據清理方式主要為使用清理操作truncate對HBase進行清表處理，然而，由于主節點Master只有一主一備兩個實例，無法進行擴容，因此，當使用清理操作truncate對HBase進行頻繁清表操作時，易造成主節點Master的壓力較大，進而影響HBase的整體性能。

發明內容

針對現有技術中的問題，本申請提供一種HBase數據清理方法及裝置，能夠有效降低HBase集群中主節點的運行壓力，并能夠提高HBase數據清理過程的可靠性及效率，提高HBase集群的整體性能及運行穩定性。

為解決上述技術問題，本申請提供以下技術方案：

第一方面，本申請提供一種HBase數據清理方法，包括：

若HBase集群當前處于文件合并期間，則在該HBase集群中查找當前存儲數據時長超過超時閾值的目標數據表，并獲取該目標數據表當前的目標批次標識；

自所述目標數據表中清理帶有所述目標批次標識的數據，其中，所述目標批次標識預先添加至所述目標數據表中被用戶操作的數據中。

進一步地，在所述若HBase集群當前處于文件合并期間，則在該HBase集群中查找當前存儲數據時長超過超時閾值的目標數據表，并獲取該目標數據表當前的目標批次標識之前，還包括：

將所述HBase集群當前的過期文件自動清理參數狀態設置為可執行狀態；

根據預先獲取的數據表標識、列族名和超時閾值之間的對應關系，以及預先獲取的建表配置信息，在所述HBase集群中創建添加有所述超時閾值的配置表。

進一步地，還包括：

獲取針對所述HBase集群中數據表的寫入請求，其中，該寫入請求中包含有數據表標識、數據位置標識、寫入數據及批次標識；

根據所述數據位置標識和寫入數據，對所述數據表標識對應的數據表中的寫入位置進行數據寫入處理，并添加所述寫入請求中的批次標識與所述寫入數據之間的對應關系。

進一步地，還包括：

獲取針對所述HBase集群中數據表的讀取請求，其中，該讀取請求中包含有數據表標識、數據位置標識及批次標識；

根據所述數據位置標識調取所述數據表標識對應的數據表中的讀取位置的數據以供用戶讀取，并添加所述讀取請求中的批次標識與所述讀取位置之間的對應關系。

進一步地，還包括：

接收并存儲HBase寫入配置表，其中，該HBase寫入配置表用于存儲用戶輸入的數據表標識、數據位置標識、寫入數據及批次標識之間的對應關系；

相對應的，所述獲取針對所述HBase集群中數據表的寫入請求，包括：