[發明專利]分布式批量數據清理方法及系統

有效

• 申請號: 202010325609.1
• 申請日: 2020-04-23
• 公開（公告）號: CN111522805B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 肖慧閔;孫中軍;周寶琛;林楷坤
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/2457;G06F16/27
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王天堯;湯在彥

1.一種分布式批量數據清理方法，其特征在于，包括：

主節點將各個待清理表的清理指令，發送到第一消息隊列，其中，所述主節點對應多個遠程子節點；

遠程子節點從所述第一消息隊列中讀取一個待清理表的清理指令，根據待清理表的分庫分表情況，生成待清理表的一個或多個單表清理指令，發送到第二消息隊列，其中，每個遠程子節點對應一個或多個清理節點；

清理節點從所述第二消息隊列中讀取待清理表的一個單表清理指令，對待清理表的一個單表進行數據清理，并將待清理表一個單表的清理結果返回到第三消息隊列；

遠程子節點從所述第三消息隊列中讀取各個單表的清理結果，匯總各個待清理表的清理結果，并將各個待清理表的清理結果返回到第四消息隊列；

主節點從所述第四消息隊列中讀取各個待清理表的清理結果。

2.如權利要求1所述的方法，其特征在于，所述第一消息隊列、所述第二消息隊列、所述第三消息隊列和所述第四消息隊列均為Redis消息隊列。

3.如權利要求1所述的方法，其特征在于，所述方法還包括：

清理節點根據單表清理指令，判斷待清理的單表是否需要備份數據，并在待清理的單表需要備份數據的情況下，根據預先配置的備份字段，讀取待清理單表中的備份數據，發送到第五消息隊列中。

4.如權利要求3所述的方法，其特征在于，所述第五消息隊列為Kafka消息隊列。

5.如權利要求1所述的方法，其特征在于，所述方法還包括：

遠程子節點根據待清理表的清理指令，判斷待清理表是否存在關聯表，并在待清理表存在關聯表的情況下，在對待清理表進行數據清理之前，先對待清理表的關聯表進行數據清理。

6.如權利要求5所述的方法，其特征在于，所述方法還包括：

當關聯表與待清理表在同一數據庫的情況下，清理節點直接在待清理表所在數據庫中查詢關聯表中待刪除的數據；

當關聯表與待清理表不在同一數據庫的情況下，清理節點從待清理表所在數據庫查詢出關聯字段，根據關聯字段在關聯表所在數據庫查詢關聯表中待刪除的數據。

7.如權利要求1所述的方法，其特征在于，所述方法還包括：

遠程子節點記錄并更新各個待清理表的數據清理日志。

8.一種分布式批量數據清理系統，其特征在于，包括：主節點模塊、遠程子節點模塊和清理節點模塊；所述主節點模塊對應多個遠程子節點模塊；每個所述遠程子節點模塊對應一個或多個清理節點模塊，每個所述遠程子節點模塊包括：主表清理模塊；每個所述清理節點模塊包括：數據清理模塊；

其中，主節點模塊，用于將各個待清理表的清理指令，發送到第一消息隊列；

遠程子節點模塊，用于從所述第一消息隊列中讀取一個待清理表的清理指令，根據待清理表的分庫分表情況，生成待清理表的一個或多個單表清理指令，發送到第二消息隊列；

清理節點模塊，用于從所述第二消息隊列中讀取待清理表的一個單表清理指令，對待清理表的一個單表進行數據清理，并將待清理表一個單表的清理結果返回到第三消息隊列；

其中，所述遠程子節點模塊還用于從所述第三消息隊列中讀取各個單表的清理結果，匯總各個待清理表的清理結果，并將各個待清理表的清理結果返回到第四消息隊列；所述主節點模塊還用于從所述第四消息隊列中讀取各個待清理表的清理結果。

9.如權利要求8所述的系統，其特征在于，所述清理節點模塊還包括：數據備份模塊，用于根據單表清理指令，判斷待清理的單表是否需要備份數據，并在待清理的單表需要備份數據的情況下，根據預先配置的備份字段，讀取待清理單表中的備份數據，發送到第五消息隊列中。

10.如權利要求8所述的系統，其特征在于，所述遠程子節點模塊還包括：關聯表清理模塊，用于根據待清理表的清理指令，判斷待清理表是否存在關聯表，并在待清理表存在關聯表的情況下，在對待清理表進行數據清理之前，先對待清理表的關聯表進行數據清理。