[發(fā)明專利]數(shù)據(jù)清理方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710693659.3
• 申請(qǐng)日: 2017-08-14
• 公開(kāi)（公告）號(hào): CN107609038B
• 公開(kāi)（公告）日: 2020-08-07
• 發(fā)明（設(shè)計(jì)）人: 畢杰山;鐘超強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/22;G06F16/27
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 羅振安

1.一種數(shù)據(jù)清理方法，其特征在于，用于清理分布式數(shù)據(jù)庫(kù)中的數(shù)據(jù)，所述方法包括：

獲取數(shù)據(jù)清理時(shí)間，所述數(shù)據(jù)清理時(shí)間為歷史接收到數(shù)據(jù)清理請(qǐng)求時(shí)記錄的時(shí)間，所述數(shù)據(jù)清理請(qǐng)求用于清理所述分布式數(shù)據(jù)庫(kù)中滿足清理?xiàng)l件的數(shù)據(jù)；

獲取所述分布式數(shù)據(jù)庫(kù)中不滿足所述清理?xiàng)l件的數(shù)據(jù)，以及滿足所述清理?xiàng)l件但數(shù)據(jù)存儲(chǔ)時(shí)間晚于所述數(shù)據(jù)清理時(shí)間的數(shù)據(jù)；

在所述分布式數(shù)據(jù)庫(kù)中合并獲取到的所述數(shù)據(jù)；

所述分布式數(shù)據(jù)庫(kù)包括n個(gè)數(shù)據(jù)文件，n為大于等于2的整數(shù)；

當(dāng)所述清理?xiàng)l件包括清理全表的數(shù)據(jù)時(shí)，所述獲取所述分布式數(shù)據(jù)庫(kù)中不滿足所述清理?xiàng)l件的數(shù)據(jù)，以及滿足所述清理?xiàng)l件但數(shù)據(jù)存儲(chǔ)時(shí)間晚于所述數(shù)據(jù)清理時(shí)間的數(shù)據(jù)，包括：

對(duì)于所述n個(gè)文件中的每個(gè)文件，獲取所述文件中的各條數(shù)據(jù)所對(duì)應(yīng)的最大時(shí)間戳以及最小時(shí)間戳；

若所述最大時(shí)間戳早于所述數(shù)據(jù)清理時(shí)間，則跳過(guò)所述文件；

若所述最大時(shí)間戳晚于所述數(shù)據(jù)清理時(shí)間且所述最小時(shí)間戳早于所述數(shù)據(jù)清理時(shí)間，則遍歷所述文件中的各條數(shù)據(jù)，讀取時(shí)間戳晚于所述數(shù)據(jù)清理時(shí)間的數(shù)據(jù)；

若所述最小時(shí)間戳晚于所述數(shù)據(jù)清理時(shí)間，則讀取所述文件中的各條數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)所述清理?xiàng)l件包括清理全表的數(shù)據(jù)時(shí)，所述獲取數(shù)據(jù)清理時(shí)間之前，所述方法還包括：

接收所述數(shù)據(jù)清理請(qǐng)求；

在所述全表所對(duì)應(yīng)的屬性描述文件中，將接收到所述數(shù)據(jù)清理請(qǐng)求的時(shí)間記錄為所述數(shù)據(jù)清理時(shí)間；

所述獲取數(shù)據(jù)清理時(shí)間，包括：

從所述屬性描述文件中讀取所述數(shù)據(jù)清理時(shí)間。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)所述清理?xiàng)l件包括清理全表中預(yù)設(shè)標(biāo)簽的數(shù)據(jù)時(shí)，所述獲取所述分布式數(shù)據(jù)庫(kù)中不滿足所述清理?xiàng)l件的數(shù)據(jù)，以及滿足所述清理?xiàng)l件但數(shù)據(jù)存儲(chǔ)時(shí)間晚于所述數(shù)據(jù)清理時(shí)間的數(shù)據(jù)，包括：

對(duì)于所述n個(gè)文件中的每個(gè)文件，獲取所述文件中的各條數(shù)據(jù)所對(duì)應(yīng)的最大時(shí)間戳以及最小時(shí)間戳；

若所述最大時(shí)間戳早于所述數(shù)據(jù)清理時(shí)間，則讀取所述文件中除所述預(yù)設(shè)標(biāo)簽之外的其他標(biāo)簽的數(shù)據(jù)；

若所述最大時(shí)間戳晚于所述數(shù)據(jù)清理時(shí)間且所述最小時(shí)間戳早于所述數(shù)據(jù)清理時(shí)間，則遍歷所述文件中的各條數(shù)據(jù)，讀取時(shí)間戳早于所述數(shù)據(jù)清理時(shí)間的各條數(shù)據(jù)中除所述預(yù)設(shè)標(biāo)簽之外的其他標(biāo)簽的數(shù)據(jù)，且讀取時(shí)間戳晚于所述數(shù)據(jù)清理時(shí)間的數(shù)據(jù)；

若所述最小時(shí)間戳晚于所述數(shù)據(jù)清理時(shí)間，則讀取所述文件中的各條數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，當(dāng)所述清理?xiàng)l件包括清理全表中預(yù)設(shè)標(biāo)簽的數(shù)據(jù)時(shí)，所述獲取數(shù)據(jù)清理時(shí)間之前，所述方法還包括：

接收所述數(shù)據(jù)清理請(qǐng)求，所述數(shù)據(jù)清理請(qǐng)求用于請(qǐng)求清理預(yù)設(shè)標(biāo)簽的數(shù)據(jù)；

在所述預(yù)設(shè)標(biāo)簽所對(duì)應(yīng)的屬性描述文件中，將接收到所述數(shù)據(jù)清理請(qǐng)求的時(shí)間記錄為所述數(shù)據(jù)清理時(shí)間；

所述獲取數(shù)據(jù)清理時(shí)間，包括：

從所述屬性描述文件中讀取所述數(shù)據(jù)清理時(shí)間。

5.根據(jù)權(quán)利要求1至4任一所述的方法，其特征在于，所述獲取數(shù)據(jù)清理時(shí)間之前，還包括：

接收數(shù)據(jù)獲取請(qǐng)求；

在接收到所述數(shù)據(jù)獲取請(qǐng)求之后，獲取所述數(shù)據(jù)清理時(shí)間。

6.根據(jù)權(quán)利要求1至4任一所述的方法，其特征在于，所述在所述分布式數(shù)據(jù)庫(kù)中合并獲取到的所述數(shù)據(jù)，包括：

在滿足數(shù)據(jù)合并條件時(shí)，在所述分布式數(shù)據(jù)庫(kù)中合并獲取到的所述數(shù)據(jù)；所述數(shù)據(jù)合并條件包括：獲取到的所述數(shù)據(jù)所屬的文件的總個(gè)數(shù)達(dá)到預(yù)設(shè)個(gè)數(shù)，或者，接收到數(shù)據(jù)合并請(qǐng)求。