[發(fā)明專利]數(shù)據(jù)清理方法、裝置和服務(wù)器

在審

• 申請(qǐng)?zhí)枺?/td>: 202110890116.7
• 申請(qǐng)日: 2021-08-04
• 公開（公告）號(hào): CN113485999A
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 王備;王偉;沈棟;聶冬琴
• 申請(qǐng)（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/28
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 劉熔;趙平

1.一種數(shù)據(jù)清理方法，其特征在于，包括：

獲取目標(biāo)配置參數(shù)；其中，所述目標(biāo)配置參數(shù)至少包含有與待清理的目標(biāo)數(shù)據(jù)關(guān)聯(lián)的目標(biāo)數(shù)據(jù)庫名、目標(biāo)數(shù)據(jù)表名和目標(biāo)字段；目標(biāo)數(shù)據(jù)庫包括基于Hadoop的Hive數(shù)據(jù)倉庫；所述目標(biāo)配置參數(shù)為基于預(yù)設(shè)的設(shè)置規(guī)則自定義的配置參數(shù)；

根據(jù)所述目標(biāo)配置參數(shù)，通過與目標(biāo)數(shù)據(jù)庫的連接，獲取相應(yīng)的元數(shù)據(jù)信息；

根據(jù)預(yù)設(shè)的生成規(guī)則、所述目標(biāo)配置參數(shù)和所述元數(shù)據(jù)信息，生成目標(biāo)備份程序文件和目標(biāo)清理程序文件；

根據(jù)預(yù)設(shè)的均衡拆分規(guī)則，調(diào)用多個(gè)線程并行執(zhí)行所述目標(biāo)備份程序文件，以對(duì)所述目標(biāo)數(shù)據(jù)進(jìn)行磁帶備份；

根據(jù)預(yù)設(shè)的均衡拆分規(guī)則，調(diào)用多個(gè)線程并行執(zhí)行所述目標(biāo)清理程序文件，以刪除所述目標(biāo)數(shù)據(jù)庫中的目標(biāo)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)配置參數(shù)還包含有與目標(biāo)數(shù)據(jù)相關(guān)的目標(biāo)系統(tǒng)名、歸檔周期類型、頻率類型、偏移量參數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在獲取目標(biāo)配置參數(shù)之后，所述方法還包括：根據(jù)預(yù)設(shè)的校驗(yàn)規(guī)則，對(duì)目標(biāo)配置參數(shù)進(jìn)行預(yù)設(shè)的校驗(yàn)處理。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)預(yù)設(shè)的生成規(guī)則、所述目標(biāo)配置參數(shù)和所述元數(shù)據(jù)信息，生成目標(biāo)備份程序文件和目標(biāo)清理程序文件，包括：

獲取并根據(jù)歸檔周期類型，確定所述目標(biāo)數(shù)據(jù)是否屬于分區(qū)數(shù)據(jù)；

在確定所述目標(biāo)數(shù)據(jù)屬于分區(qū)數(shù)據(jù)的情況下，根據(jù)元數(shù)據(jù)信息生成針對(duì)目標(biāo)數(shù)據(jù)的備份語句和清理語句；

根據(jù)所述備份語句，生成目標(biāo)備份程序文件；根據(jù)所述清理語句，生成目標(biāo)清理程序文件。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在獲取并根據(jù)歸檔周期類型，確定所述目標(biāo)數(shù)據(jù)是否屬于分區(qū)數(shù)據(jù)之前，所述方法還包括：

根據(jù)目標(biāo)配置參數(shù)，檢測(cè)當(dāng)前的執(zhí)行時(shí)間是否與頻率類型、偏移量參數(shù)匹配；

在確定當(dāng)前的執(zhí)行時(shí)間與頻率類型、偏移量參數(shù)匹配的情況下，根據(jù)目標(biāo)配置參數(shù)和元數(shù)據(jù)信息，核對(duì)目標(biāo)數(shù)據(jù)庫、目標(biāo)數(shù)據(jù)表，以及目標(biāo)字段。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)預(yù)設(shè)的均衡拆分規(guī)則，調(diào)用多個(gè)線程并行執(zhí)行所述目標(biāo)備份程序文件，包括：

根據(jù)元數(shù)據(jù)信息，確定各個(gè)分區(qū)的數(shù)據(jù)大小；

根據(jù)所述各個(gè)分區(qū)的數(shù)據(jù)大小，將目標(biāo)備份程序文件所包含的備份語句拆分成多個(gè)備份任務(wù)；

將所述多個(gè)備份任務(wù)分配給多個(gè)線程；并調(diào)用多個(gè)線程并行執(zhí)行所分配到的備份任務(wù)。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)預(yù)設(shè)的均衡拆分規(guī)則，調(diào)用多個(gè)線程并行執(zhí)行所述目標(biāo)清理程序文件，包括：

根據(jù)元數(shù)據(jù)信息，確定各個(gè)分區(qū)的數(shù)據(jù)大小；

根據(jù)所述各個(gè)分區(qū)的數(shù)據(jù)大小，將目標(biāo)清理程序文件所包含的清理語句拆分成多個(gè)清理任務(wù)；

將所述多個(gè)清理任務(wù)分配給多個(gè)線程；并調(diào)用多個(gè)線程并行執(zhí)行所分配到的清理任務(wù)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，在將所述多個(gè)清理任務(wù)分配給多個(gè)線程；并調(diào)用多個(gè)線程并行執(zhí)行所分配到的清理任務(wù)之后，所述方法還包括：

獲取多個(gè)線程中的各個(gè)線程在執(zhí)行所分配的清理任務(wù)時(shí)的清理執(zhí)行日志；

根據(jù)所述清理執(zhí)行日志，檢測(cè)是否存在清理任務(wù)異常；

在檢測(cè)到清理任務(wù)異常的情況下，生成異常提示信息。