[發(fā)明專利]一種大數(shù)據(jù)歸檔方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011393800.6
• 申請(qǐng)日: 2020-12-03
• 公開（公告）號(hào): CN112395296A
• 公開（公告）日: 2021-02-23
• 發(fā)明（設(shè)計(jì)）人: 馮健
• 申請(qǐng)（專利權(quán)）人: 平安消費(fèi)金融有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/23;G06F16/2457
• 代理公司: 北京中強(qiáng)智尚知識(shí)產(chǎn)權(quán)代理有限公司 11448
• 代理人: 黃耀威

本發(fā)明公開了一種大數(shù)據(jù)歸檔方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，首先獲取歸檔策略和歸檔表，然后基于歸檔策略和歸檔表，創(chuàng)建對(duì)應(yīng)的分區(qū)表，當(dāng)檢測(cè)到歸檔表的數(shù)據(jù)發(fā)生改變時(shí)，查找到發(fā)生改變的數(shù)據(jù)對(duì)應(yīng)的目標(biāo)分區(qū)表，再根據(jù)目標(biāo)分區(qū)表，捕獲發(fā)生改變的數(shù)據(jù)，將發(fā)生改變的數(shù)據(jù)發(fā)送至少一個(gè)發(fā)送隊(duì)列中，之后逐一將各發(fā)送隊(duì)列中的數(shù)據(jù)發(fā)送至大數(shù)據(jù)的存儲(chǔ)層中的目標(biāo)表中，最后基于歸檔策略，對(duì)源數(shù)據(jù)庫(kù)中的歸檔表進(jìn)行刪除。與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例通過自動(dòng)將歸檔表中的發(fā)生改變數(shù)據(jù)發(fā)送至大數(shù)據(jù)的存儲(chǔ)層中的目標(biāo)表中，實(shí)現(xiàn)歸檔表與目標(biāo)表的數(shù)據(jù)同步，從而根據(jù)用戶的需求，自動(dòng)進(jìn)行數(shù)據(jù)的歸檔，無要人工手動(dòng)操作數(shù)據(jù)的歸檔，提高歸檔效率及可靠性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)處理領(lǐng)域，特別是涉及一種大數(shù)據(jù)歸檔方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)企業(yè)的快速發(fā)展，其后端數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)和占據(jù)的磁盤空間越來越大。因此為了保證線上服務(wù)的高可用，需要及時(shí)清理暫時(shí)不用的歷史數(shù)據(jù)，從而釋放數(shù)據(jù)庫(kù)的存儲(chǔ)空間。

目前，實(shí)現(xiàn)釋放數(shù)據(jù)的存儲(chǔ)空間的做法基本停留在數(shù)據(jù)庫(kù)管理員手動(dòng)地把數(shù)據(jù)從源數(shù)據(jù)庫(kù)歸檔到另一個(gè)數(shù)據(jù)庫(kù)中，不僅耗時(shí)，效率低下，而且歸檔的可靠性較低。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種大數(shù)據(jù)歸檔方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，主要目的在于解決現(xiàn)有技術(shù)中數(shù)據(jù)庫(kù)管理員手動(dòng)地把數(shù)據(jù)從源數(shù)據(jù)庫(kù)歸檔到另一個(gè)數(shù)據(jù)庫(kù)中，不僅耗時(shí)，效率低下，而且歸檔的可靠性較低的問題。

根據(jù)本發(fā)明的一方面，提供了一種大數(shù)據(jù)歸檔方法，包括：

獲取歸檔策略和與所述歸檔策略相應(yīng)的歸檔表；

基于所述歸檔策略和歸檔表，創(chuàng)建對(duì)應(yīng)的分區(qū)表；

當(dāng)檢測(cè)到所述歸檔表的數(shù)據(jù)發(fā)生改變時(shí)，查找到發(fā)生改變的數(shù)據(jù)對(duì)應(yīng)的目標(biāo)分區(qū)表；

根據(jù)所述目標(biāo)分區(qū)表，捕獲所述發(fā)生改變的數(shù)據(jù)；

將所述發(fā)生改變的數(shù)據(jù)發(fā)送至少一個(gè)發(fā)送隊(duì)列中；

逐一將各發(fā)送隊(duì)列中的數(shù)據(jù)發(fā)送至大數(shù)據(jù)的存儲(chǔ)層中的目標(biāo)表中；

基于所述歸檔策略，對(duì)源數(shù)據(jù)庫(kù)中的所述歸檔表進(jìn)行刪除。

具體地，所述當(dāng)檢測(cè)到所述歸檔表的數(shù)據(jù)發(fā)生改變時(shí)，查找到發(fā)生改變的數(shù)據(jù)對(duì)應(yīng)的目標(biāo)分區(qū)表，包括：

當(dāng)檢測(cè)到所述歸檔表的數(shù)據(jù)發(fā)生改變時(shí)，創(chuàng)建相應(yīng)的更新日志，所述更新日志包括發(fā)生改變數(shù)據(jù)對(duì)應(yīng)的目標(biāo)分區(qū)表的地址信息；

根據(jù)所述更新日志，查找到所述目標(biāo)分區(qū)表。

具體地，所述逐一將各發(fā)送隊(duì)列中的數(shù)據(jù)發(fā)送至大數(shù)據(jù)的存儲(chǔ)層中的目標(biāo)表中，包括：

根據(jù)各發(fā)送隊(duì)列中的數(shù)據(jù)的屬性，確定各發(fā)送隊(duì)列的優(yōu)先級(jí)；

按照優(yōu)先級(jí)由高到低的順序，依次將各發(fā)送隊(duì)列中的數(shù)據(jù)發(fā)送至大數(shù)據(jù)的存儲(chǔ)層中的目標(biāo)表中。

具體地，所述逐一將各發(fā)送隊(duì)列中的數(shù)據(jù)發(fā)送至大數(shù)據(jù)的存儲(chǔ)層中的目標(biāo)表中之后，包括：

獲取所述歸檔表中發(fā)生改變的數(shù)據(jù)與所述目標(biāo)表中的數(shù)據(jù)之間的映射關(guān)系；

基于所述映射關(guān)系，對(duì)所述目標(biāo)表中的數(shù)據(jù)進(jìn)行校驗(yàn)處理。

具體地，所述基于所述映射關(guān)系，對(duì)所述目標(biāo)表中的數(shù)據(jù)進(jìn)行校驗(yàn)處理，包括：

根據(jù)預(yù)設(shè)算法，確定所述歸檔表中發(fā)生改變的數(shù)據(jù)的第一校驗(yàn)值，以及發(fā)送至所述目標(biāo)表中的數(shù)據(jù)的第二校驗(yàn)值；