[發明專利]HBase數據清理方法及裝置

在審

• 申請號: 202110538879.5
• 申請日: 2021-05-18
• 公開（公告）號: CN113515509A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 梁曄華;張世瑛;趙吉昆;楊嘉欣
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27;G06F16/22
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 任默聞;王濤

1.一種HBase數據清理方法，其特征在于，包括：

若HBase集群當前處于文件合并期間，則在該HBase集群中查找當前存儲數據時長超過超時閾值的目標數據表，并獲取該目標數據表當前的目標批次標識；

自所述目標數據表中清理帶有所述目標批次標識的數據，其中，所述目標批次標識預先添加至所述目標數據表中被用戶操作的數據中。

2.根據權利要求1所述的HBase數據清理方法，其特征在于，在所述若HBase集群當前處于文件合并期間，則在該HBase集群中查找當前存儲數據時長超過超時閾值的目標數據表，并獲取該目標數據表當前的目標批次標識之前，還包括：

將所述HBase集群當前的過期文件自動清理參數狀態設置為可執行狀態；

根據預先獲取的數據表標識、列族名和超時閾值之間的對應關系，以及預先獲取的建表配置信息，在所述HBase集群中創建添加有所述超時閾值的配置表。

3.根據權利要求1所述的HBase數據清理方法，其特征在于，還包括：

獲取針對所述HBase集群中數據表的寫入請求，其中，該寫入請求中包含有數據表標識、數據位置標識、寫入數據及批次標識；

根據所述數據位置標識和寫入數據，對所述數據表標識對應的數據表中的寫入位置進行數據寫入處理，并添加所述寫入請求中的批次標識與所述寫入數據之間的對應關系。

4.根據權利要求1所述的HBase數據清理方法，其特征在于，還包括：

獲取針對所述HBase集群中數據表的讀取請求，其中，該讀取請求中包含有數據表標識、數據位置標識及批次標識；

根據所述數據位置標識調取所述數據表標識對應的數據表中的讀取位置的數據以供用戶讀取，并添加所述讀取請求中的批次標識與所述讀取位置之間的對應關系。

5.根據權利要求3所述的HBase數據清理方法，其特征在于，其特征在于，還包括：

接收并存儲HBase寫入配置表，其中，該HBase寫入配置表用于存儲用戶輸入的數據表標識、數據位置標識、寫入數據及批次標識之間的對應關系；

相對應的，所述獲取針對所述HBase集群中數據表的寫入請求，包括：

定時掃描所述HBase寫入配置表中的新增任務，以獲取針對所述HBase集群中數據表的寫入請求。

6.根據權利要求4所述的HBase數據清理方法，其特征在于，其特征在于，還包括：

接收并存儲HBase讀取配置表，其中，該HBase讀取配置表用于存儲用戶輸入的數據表標識、數據位置標識及批次標識之間的對應關系；

相對應的，所述獲取針對所述HBase集群中數據表的讀取請求，包括：

定時掃描所述HBase讀取配置表中的新增任務，以獲取針對所述HBase集群中數據表的讀取請求。

7.根據權利要求1至6任一項所述的HBase數據清理方法，其特征在于，在所述若HBase集群當前處于文件合并期間，則在該HBase集群中查找當前存儲數據時長超過超時閾值的目標數據表，并獲取該目標數據表當前的目標批次標識之前，還包括：

基于預設的文件合并時間及頻率，對所述HBase集群進行文件合并處理。

8.一種HBase數據清理裝置，其特征在于，包括：

超時驗證模塊，用于若HBase集群當前處于文件合并期間，則在該HBase集群中查找當前存儲數據時長超過超時閾值的目標數據表，并獲取該目標數據表當前的目標批次標識；

批次清理模塊，用于自所述目標數據表中清理帶有所述目標批次標識的數據，其中，所述目標批次標識預先添加至所述目標數據表中被用戶操作的數據中。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7任一項所述的HBase數據清理方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1至7任一項所述的HBase數據清理方法。