[發(fā)明專利]一種大數(shù)據(jù)歸檔方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011393800.6
• 申請(qǐng)日: 2020-12-03
• 公開(kāi)（公告）號(hào): CN112395296A
• 公開(kāi)（公告）日: 2021-02-23
• 發(fā)明（設(shè)計(jì)）人: 馮健
• 申請(qǐng)（專利權(quán)）人: 平安消費(fèi)金融有限公司
• 主分類(lèi)號(hào): G06F16/22
• 分類(lèi)號(hào): G06F16/22;G06F16/23;G06F16/2457
• 代理公司: 北京中強(qiáng)智尚知識(shí)產(chǎn)權(quán)代理有限公司 11448
• 代理人: 黃耀威

1.一種大數(shù)據(jù)歸檔方法，其特征在于，包括：

獲取歸檔策略和與所述歸檔策略相應(yīng)的歸檔表；

基于所述歸檔策略和歸檔表，創(chuàng)建對(duì)應(yīng)的分區(qū)表；

當(dāng)檢測(cè)到所述歸檔表的數(shù)據(jù)發(fā)生改變時(shí)，查找到發(fā)生改變的數(shù)據(jù)對(duì)應(yīng)的目標(biāo)分區(qū)表；

根據(jù)所述目標(biāo)分區(qū)表，捕獲所述發(fā)生改變的數(shù)據(jù)；

將所述發(fā)生改變的數(shù)據(jù)發(fā)送至少一個(gè)發(fā)送隊(duì)列中；

逐一將各發(fā)送隊(duì)列中的數(shù)據(jù)發(fā)送至大數(shù)據(jù)的存儲(chǔ)層中的目標(biāo)表中；

基于所述歸檔策略，對(duì)源數(shù)據(jù)庫(kù)中的所述歸檔表進(jìn)行刪除。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)檢測(cè)到所述歸檔表的數(shù)據(jù)發(fā)生改變時(shí)，查找到發(fā)生改變的數(shù)據(jù)對(duì)應(yīng)的目標(biāo)分區(qū)表，包括：

當(dāng)檢測(cè)到所述歸檔表的數(shù)據(jù)發(fā)生改變時(shí)，創(chuàng)建相應(yīng)的更新日志，所述更新日志包括發(fā)生改變數(shù)據(jù)對(duì)應(yīng)的目標(biāo)分區(qū)表的地址信息；

根據(jù)所述更新日志，查找到所述目標(biāo)分區(qū)表。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述逐一將各發(fā)送隊(duì)列中的數(shù)據(jù)發(fā)送至大數(shù)據(jù)的存儲(chǔ)層中的目標(biāo)表中，包括：

根據(jù)各發(fā)送隊(duì)列中的數(shù)據(jù)的屬性，確定各發(fā)送隊(duì)列的優(yōu)先級(jí)；

按照優(yōu)先級(jí)由高到低的順序，依次將各發(fā)送隊(duì)列中的數(shù)據(jù)發(fā)送至大數(shù)據(jù)的存儲(chǔ)層中的目標(biāo)表中。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述逐一將各發(fā)送隊(duì)列中的數(shù)據(jù)發(fā)送至大數(shù)據(jù)的存儲(chǔ)層中的目標(biāo)表中之后，包括：

獲取所述歸檔表中發(fā)生改變的數(shù)據(jù)與所述目標(biāo)表中的數(shù)據(jù)之間的映射關(guān)系；

基于所述映射關(guān)系，對(duì)所述目標(biāo)表中的數(shù)據(jù)進(jìn)行校驗(yàn)處理。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述映射關(guān)系，對(duì)所述目標(biāo)表中的數(shù)據(jù)進(jìn)行校驗(yàn)處理，包括：

根據(jù)預(yù)設(shè)算法，確定所述歸檔表中發(fā)生改變的數(shù)據(jù)的第一校驗(yàn)值，以及發(fā)送至所述目標(biāo)表中的數(shù)據(jù)的第二校驗(yàn)值；

基于所述映射關(guān)系，將所述第一校驗(yàn)值與所述第二校驗(yàn)值進(jìn)行比較，若所述第一校驗(yàn)值與所述第二校驗(yàn)值不同，則將所述歸檔表中所述第一校驗(yàn)值對(duì)應(yīng)的數(shù)據(jù)重新發(fā)送至所述大數(shù)據(jù)存儲(chǔ)層的目標(biāo)表中，并重新根據(jù)所述預(yù)設(shè)算法，確定所述歸檔表中所述數(shù)據(jù)的第一校驗(yàn)值及所述目標(biāo)表中所述數(shù)據(jù)的第二校驗(yàn)值，直至所述第一校驗(yàn)值及第二校驗(yàn)值相同為止。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述歸檔策略包括預(yù)設(shè)的清理周期，所述基于所述歸檔策略，對(duì)源數(shù)據(jù)庫(kù)中的所述歸檔表進(jìn)行刪除，包括：

基于所述清理周期，獲取所述歸檔表的第一數(shù)據(jù)總量及所述目標(biāo)表中的第二數(shù)據(jù)總量；

根據(jù)所述第一數(shù)據(jù)總量及所述第二數(shù)據(jù)總量，判定是否對(duì)所述源數(shù)據(jù)庫(kù)中的所述歸檔表進(jìn)行刪除處理。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一數(shù)據(jù)總量及所述第二數(shù)據(jù)總量，判定是否對(duì)所述源數(shù)據(jù)庫(kù)中的所述歸檔表進(jìn)行刪除處理，包括：

將所述第一數(shù)據(jù)總量與所述第二數(shù)據(jù)總量進(jìn)行比較，若所述第一數(shù)據(jù)總量與所述第二數(shù)據(jù)總量相同，則對(duì)源數(shù)據(jù)庫(kù)中的歸檔表進(jìn)行刪除。

8.一種大數(shù)據(jù)歸檔裝置，其特征在于，包括：

獲取模塊，用于獲取歸檔策略和與所述歸檔策略相應(yīng)的歸檔表；

創(chuàng)建模塊，用于基于所述歸檔策略和歸檔表，創(chuàng)建對(duì)應(yīng)的分區(qū)表；

查找模塊，用于當(dāng)檢測(cè)到所述歸檔表的數(shù)據(jù)發(fā)生改變時(shí)，查找到發(fā)生改變的數(shù)據(jù)對(duì)應(yīng)的目標(biāo)分區(qū)表；

捕獲模塊，用于根據(jù)所述目標(biāo)分區(qū)表，捕獲所述發(fā)生改變的數(shù)據(jù)；

存儲(chǔ)模塊，用于將所述發(fā)生改變的數(shù)據(jù)發(fā)送至少一個(gè)發(fā)送隊(duì)列中；

發(fā)送模塊，用于逐一將各發(fā)送隊(duì)列中的數(shù)據(jù)發(fā)送至大數(shù)據(jù)的存儲(chǔ)層中的目標(biāo)表中；

清理模塊，用于基于所述歸檔策略，對(duì)源數(shù)據(jù)庫(kù)中的所述歸檔表進(jìn)行刪除。

9.一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一可執(zhí)行指令，所述可執(zhí)行指令使處理器執(zhí)行如權(quán)利要求1-7中任一項(xiàng)所述的大數(shù)據(jù)歸檔方法對(duì)應(yīng)的操作。

10.一種計(jì)算機(jī)設(shè)備，包括：處理器、存儲(chǔ)器、通信接口和通信總線，所述處理器、所述存儲(chǔ)器和所述通信接口通過(guò)所述通信總線完成相互間的通信；

所述存儲(chǔ)器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如權(quán)利要求1-7中任一項(xiàng)所述的大數(shù)據(jù)歸檔方法對(duì)應(yīng)的操作。