[發(fā)明專利]數(shù)據(jù)清理方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710693659.3
• 申請(qǐng)日: 2017-08-14
• 公開（公告）號(hào): CN107609038B
• 公開（公告）日: 2020-08-07
• 發(fā)明（設(shè)計(jì)）人: 畢杰山;鐘超強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/22;G06F16/27
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 羅振安

本申請(qǐng)公開了一種數(shù)據(jù)清理方法和裝置，屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，所述方法包括：獲取數(shù)據(jù)清理時(shí)間，所述數(shù)據(jù)清理時(shí)間為歷史接收到數(shù)據(jù)清理請(qǐng)求時(shí)記錄的時(shí)間，所述數(shù)據(jù)清理請(qǐng)求用于清理所述分布式數(shù)據(jù)庫(kù)中滿足清理?xiàng)l件的數(shù)據(jù)；獲取所述分布式數(shù)據(jù)庫(kù)中不滿足所述清理?xiàng)l件的數(shù)據(jù)，以及滿足所述清理?xiàng)l件但數(shù)據(jù)存儲(chǔ)時(shí)間晚于所述數(shù)據(jù)清理時(shí)間的數(shù)據(jù)；在所述分布式數(shù)據(jù)庫(kù)中合并獲取到的所述數(shù)據(jù)。解決了現(xiàn)有技術(shù)中數(shù)據(jù)清理的性能低下以及可能會(huì)影響服務(wù)性能的問題，達(dá)到了可以提高數(shù)據(jù)清理的性能的效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)清理方法和裝置。

背景技術(shù)

HBase(Hadoop Database，Hadoop數(shù)據(jù)庫(kù))具有分布式、高可靠、高性能、基于KeyValue存儲(chǔ)等特點(diǎn)，因此越來越多的企業(yè)和用戶使用HBase來存構(gòu)建數(shù)據(jù)表。

在HBase中存儲(chǔ)數(shù)據(jù)之后，用戶可以刪除其中的某些數(shù)據(jù)。因此為了釋放HBase的存儲(chǔ)空間，可以清理HBase中的數(shù)據(jù)。相關(guān)技術(shù)提供的一種數(shù)據(jù)清理方法包括：為分布式存儲(chǔ)的各數(shù)據(jù)分區(qū)關(guān)聯(lián)一個(gè)Map，讀取數(shù)據(jù)分區(qū)中的各條數(shù)據(jù)，根據(jù)刪除條件生成滿足刪除條件的數(shù)據(jù)所對(duì)應(yīng)的刪除標(biāo)記，將刪除標(biāo)記輸出至Resucer中，此后在Resucer階段匯總所有的刪除標(biāo)記，并合并不具備刪除標(biāo)記的數(shù)據(jù)。

由上述方案可知，上述數(shù)據(jù)清理方法需要先讀取所有數(shù)據(jù)，數(shù)據(jù)清理的性能低下。同時(shí)，由于數(shù)據(jù)清理的性能低下，因此數(shù)據(jù)清理持續(xù)的時(shí)間較長(zhǎng)，影響服務(wù)性能。

發(fā)明內(nèi)容

為了解決相關(guān)技術(shù)中電源的輸入電壓的范圍較窄的問題，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)清理方法和裝置。

第一方面，提供了一種數(shù)據(jù)清理方法，該方法用于清理分布式數(shù)據(jù)庫(kù)中的數(shù)據(jù)，該方法包括：

獲取數(shù)據(jù)清理時(shí)間，所述數(shù)據(jù)清理時(shí)間為歷史接收到數(shù)據(jù)清理請(qǐng)求時(shí)記錄的時(shí)間，所述數(shù)據(jù)清理請(qǐng)求用于清理所述分布式數(shù)據(jù)庫(kù)中滿足清理?xiàng)l件的數(shù)據(jù)；

獲取所述分布式數(shù)據(jù)庫(kù)中不滿足所述清理?xiàng)l件的數(shù)據(jù)，以及滿足所述清理?xiàng)l件但數(shù)據(jù)存儲(chǔ)時(shí)間晚于所述數(shù)據(jù)清理時(shí)間的數(shù)據(jù)；

在所述分布式數(shù)據(jù)庫(kù)中合并獲取到的所述數(shù)據(jù)。

通過獲取數(shù)據(jù)清理時(shí)間，數(shù)據(jù)清理時(shí)間為歷史接收到數(shù)據(jù)清理請(qǐng)求時(shí)記錄的時(shí)間，數(shù)據(jù)清理請(qǐng)求用于清理分布式數(shù)據(jù)庫(kù)中滿足清理?xiàng)l件的數(shù)據(jù)；進(jìn)而僅獲取不滿足清理?xiàng)l件的數(shù)據(jù)，以及滿足清理?xiàng)l件但數(shù)據(jù)存儲(chǔ)時(shí)間晚于數(shù)據(jù)清理時(shí)間的數(shù)據(jù)，合并獲取到的數(shù)據(jù)；解決了現(xiàn)有技術(shù)中數(shù)據(jù)清理的性能低下以及可能會(huì)影響服務(wù)性能的問題，達(dá)到了可以提高數(shù)據(jù)清理的性能的效果。

在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述分布式數(shù)據(jù)庫(kù)包括n個(gè)數(shù)據(jù)文件，n為大于等于2的整數(shù)，所述清理?xiàng)l件包括清理全表的數(shù)據(jù)；

所述獲取所述分布式數(shù)據(jù)庫(kù)中不滿足所述清理?xiàng)l件的數(shù)據(jù)，以及滿足所述清理?xiàng)l件但數(shù)據(jù)存儲(chǔ)時(shí)間晚于所述數(shù)據(jù)清理時(shí)間的數(shù)據(jù)，包括：

對(duì)于所述n個(gè)文件中的每個(gè)文件，獲取所述文件中的各條數(shù)據(jù)所對(duì)應(yīng)的最大時(shí)間戳以及最小時(shí)間戳；

若所述最大時(shí)間戳早于所述數(shù)據(jù)清理時(shí)間，則跳過所述文件；

若所述最大時(shí)間戳晚于所述數(shù)據(jù)清理時(shí)間且所述最小時(shí)間戳早于所述數(shù)據(jù)清理時(shí)間，則遍歷所述文件中的各條數(shù)據(jù)，讀取時(shí)間戳晚于所述數(shù)據(jù)清理時(shí)間的數(shù)據(jù)；

若所述最小時(shí)間戳晚于所述數(shù)據(jù)清理時(shí)間，則讀取所述文件中的各條數(shù)據(jù)。

結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述獲取數(shù)據(jù)清理時(shí)間之前，所述方法還包括：

接收所述數(shù)據(jù)清理請(qǐng)求；

在所述全表所對(duì)應(yīng)的屬性描述文件中，將接收到所述數(shù)據(jù)清理請(qǐng)求的時(shí)間記錄為所述數(shù)據(jù)清理時(shí)間；