[發(fā)明專利]一種數(shù)據(jù)表的數(shù)據(jù)清理方法及裝置

在審

• 申請?zhí)枺?/td>: 202110416841.0
• 申請日: 2021-04-19
• 公開（公告）號: CN113111055A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 李丹峰
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/23
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 任默聞;王濤

本發(fā)明提供一種數(shù)據(jù)表的數(shù)據(jù)清理方法及裝置，涉及大數(shù)據(jù)技術(shù)領(lǐng)域。所述方法包括：建立待清理數(shù)據(jù)表清單；根據(jù)表清單拆分規(guī)則，將所述待清理數(shù)據(jù)表清單拆分為多個(gè)子清單；其中，所述表清單拆分規(guī)則是預(yù)設(shè)的；遍歷各個(gè)子清單，基于數(shù)據(jù)清理規(guī)則對每個(gè)數(shù)據(jù)表的分區(qū)進(jìn)行篩選，獲得分區(qū)清單；其中，所述數(shù)據(jù)清理規(guī)則是預(yù)設(shè)的；基于所述分區(qū)清單生成清理腳本，并執(zhí)行所述清理腳本完成數(shù)據(jù)清理。所述裝置用于執(zhí)行上述方法。發(fā)明實(shí)施例提供的數(shù)據(jù)表的數(shù)據(jù)清理方法及裝置，提高了數(shù)據(jù)清理的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)表的數(shù)據(jù)清理方法及裝置。

背景技術(shù)

目前，隨著大數(shù)據(jù)的時(shí)代來臨，以Hadoop技術(shù)為基礎(chǔ)的分布式系統(tǒng)廣泛的應(yīng)用在各個(gè)領(lǐng)域。Hive表作為分布式系統(tǒng)中的重要組件，也得到了廣泛的應(yīng)用。

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的規(guī)模急劇膨脹，存儲空間隨之增加。由于數(shù)據(jù)體量大、存儲成本高等原因限制，企業(yè)在完成數(shù)據(jù)分析和挖掘之后，都會定期對數(shù)據(jù)進(jìn)行清理?，F(xiàn)有技術(shù)中，主要采用人工的方式對數(shù)據(jù)進(jìn)行清理，但由于數(shù)據(jù)體量龐大，以人工的方式對數(shù)據(jù)進(jìn)行清理成本高且效率低。而且，由于后期項(xiàng)目的考慮，在清理數(shù)據(jù)的同時(shí)，還需要從龐大的清理數(shù)據(jù)中保留部分?jǐn)?shù)據(jù)，人工篩選保留數(shù)據(jù)效率也很低。因此，如何提出一種數(shù)據(jù)清理方法，能夠快速對Hive表數(shù)據(jù)進(jìn)行清理，本領(lǐng)域需要解決的重要課題。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的問題，本發(fā)明實(shí)施例提供一種數(shù)據(jù)表的數(shù)據(jù)清理方法及裝置，能夠至少部分地解決現(xiàn)有技術(shù)中存在的問題。

一方面，本發(fā)明提出一種數(shù)據(jù)表的數(shù)據(jù)清理方法，包括：

建立待清理數(shù)據(jù)表清單；

根據(jù)表清單拆分規(guī)則，將所述待清理數(shù)據(jù)表清單拆分為多個(gè)子清單；其中，所述表清單拆分規(guī)則是預(yù)設(shè)的；

遍歷各個(gè)子清單，基于數(shù)據(jù)清理規(guī)則對每個(gè)數(shù)據(jù)表的分區(qū)進(jìn)行篩選，獲得分區(qū)清單；其中，所述數(shù)據(jù)清理規(guī)則是預(yù)設(shè)的；

基于所述分區(qū)清單生成清理腳本，并執(zhí)行所述清理腳本完成數(shù)據(jù)清理。

另一方面，本發(fā)明提供一種數(shù)據(jù)表的數(shù)據(jù)清理裝置，包括：

建立模塊，用于建立待清理數(shù)據(jù)表清單；

拆分模塊，用于根據(jù)表清單拆分規(guī)則，將所述待清理數(shù)據(jù)表清單拆分為多個(gè)子清單；其中，所述表清單拆分規(guī)則是預(yù)設(shè)的；

遍歷模塊，用于遍歷各個(gè)子清單，基于數(shù)據(jù)清理規(guī)則對每個(gè)數(shù)據(jù)表的分區(qū)進(jìn)行篩選，獲得分區(qū)清單；其中，所述數(shù)據(jù)清理規(guī)則是預(yù)設(shè)的；

清理模塊，用于基于所述分區(qū)清單生成清理腳本，并執(zhí)行所述清理腳本完成數(shù)據(jù)清理。

再一方面，本發(fā)明提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述任一實(shí)施例所述數(shù)據(jù)表的數(shù)據(jù)清理方法的步驟。

又一方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一實(shí)施例所述數(shù)據(jù)表的數(shù)據(jù)清理方法的步驟。

發(fā)明實(shí)施例提供的數(shù)據(jù)表的數(shù)據(jù)清理方法及裝置，能夠建立待清理數(shù)據(jù)表清單，根據(jù)表清單拆分規(guī)則，將待清理數(shù)據(jù)表清單拆分為多個(gè)子清單，遍歷各個(gè)子清單，基于數(shù)據(jù)清理規(guī)則對每個(gè)數(shù)據(jù)表的分區(qū)進(jìn)行篩選，獲得分區(qū)清單，基于分區(qū)清單生成清理腳本，并執(zhí)行清理腳本完成數(shù)據(jù)清理，提高了數(shù)據(jù)清理的效率。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。在附圖中：