[發明專利]一種分布式文件清理方法、裝置和系統

在審

• 申請號: 202111304562.1
• 申請日: 2021-11-05
• 公開（公告）號: CN113986867A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 張藝;張志海;林丹;李俊謙
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/16;G06F16/174
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 趙平;董驍毅

1.一種分布式文件清理方法，其特征在于，所述方法包括：

按照配置的數據生命周期表，對主熱集群中分布式文件中的對象進行檢查，確定出待處理對象；

統計出待處理對象的對象數量；

若所述對象數量在對象總數量中的占比比例大于或等于預設的比例閾值，將所述分布式文件標記為目標清理文件；

根據所述數據生命周期表和預設的對象狀態對應的處理方式，按照所述處理方式對所述目標清理文件中的對象進行清理。

2.根據權利要求1所述的分布式文件清理方法，其特征在于，所述數據生命周期表包括用戶、業務種類和熱集群存儲時長；

所述按照配置的數據生命周期表，對主熱集群中分布式文件中的對象進行檢查，確定出待處理對象，包括：

將所述分布式文件中的對象的用戶和業務種類與所述數據生命周期表中的用戶和業務種類進行匹配，生成對應的熱集群存儲時長；

根據所述分布式文件中的對象的寫入時間和當前時間，生成當前存儲時長；

若所述當前存儲時長大于或等于所述熱集群存儲時長，將所述分布式文件中的對象確定為待處理對象。

3.根據權利要求1所述的分布式文件清理方法，其特征在于，所述根據所述數據生命周期表和預設的對象狀態對應的處理方式，按照所述處理方式對所述目標清理文件中的對象進行清理，包括：

根據所述數據生命周期表和預設的對象狀態對應的處理方式，對所述待處理對象進行清理；

根據預設的對象狀態對應的處理方式，對除所述待處理對象之外的對象進行清理。

4.根據權利要求3所述的分布式文件清理方法，其特征在于，所述數據生命周期表還包括是否寫入溫集群；

所述根據所述數據生命周期表和預設的對象狀態對應的處理方式，對所述待處理對象進行清理，包括：

若所述待處理對象對應的是否寫入溫集群的值為是，確定所述對象狀態為溫數據狀態；

將所述待處理對象寫入設置的溫集群；

將所述待處理對象的索引字段修改為預設的溫集群索引值，并將所述待處理對象的索引路徑修改為所述溫集群的地址。

5.根據權利要求4所述的分布式文件清理方法，其特征在于，所述方法還包括：

若所述待處理對象對應的是否寫入溫集群的值為否，確定所述對象狀態為過期狀態；

將所述待處理對象的索引字段修改為預設的過期索引值。

6.根據權利要求3所述的分布式文件清理方法，其特征在于，所述根據預設的對象狀態對應的處理方式，對所述除所述待處理對象之外的對象進行清理，包括：

將所述除所述待處理對象之外的對象的對象狀態確定為熱數據狀態；

將所述待處理對象重寫至確定出的目標分布式文件；

將所述待處理對象的索引字段修改為預設的熱集群索引值，并將所述待處理對象的索引路徑修改為所述目標分布式文件的地址。

7.根據權利要求1所述的分布式文件清理方法，其特征在于，在所述根據所述數據生命周期表和預設的對象狀態對應的處理方式，按照所述處理方式對所述目標清理文件中的對象進行清理之后，還包括：

將所述目標清理文件進行回收。

8.根據權利要求7所述的分布式文件清理方法，其特征在于，在所述將所述目標清理文件進行回收之后，所述方法還包括：

將所述目標清理文件從所述主熱集群對應的備熱集群中刪除。

9.一種分布式文件清理系統，其特征在于，所述系統包括文件檢查組件、文件分級組件和主熱集群；

所述文件檢查組件用于按照配置的數據生命周期表，對主熱集群中分布式文件中的對象進行檢查，確定出待處理對象；統計出待處理對象的對象數量；若所述對象數量在對象總數量中的占比比例大于或等于預設的比例閾值，將所述分布式文件標記為目標清理文件；

所述文件分級組件用于根據所述數據生命周期表和預設的對象狀態對應的處理方式，按照所述處理方式對所述目標清理文件中的對象進行清理。