[發(fā)明專利]大數(shù)據(jù)高效異同步解密處理方法、模塊及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010838939.0
• 申請(qǐng)日: 2020-08-19
• 公開（公告）號(hào): CN112000969A
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 劉躍紅;曾國江;郭倩;李雨峰
• 申請(qǐng)（專利權(quán)）人: 銀盛支付服務(wù)股份有限公司
• 主分類號(hào): G06F21/60
• 分類號(hào): G06F21/60;G06F21/62
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 彭光榮

1.一種大數(shù)據(jù)高效異同步解密處理方法，其特征在于，包括：

S1、將數(shù)據(jù)同步推送至Kafka集群；

S2、使用Kafka消費(fèi)端對(duì)相應(yīng)Topic進(jìn)行ETL處理；

S3、若同一LastUpDateTime對(duì)應(yīng)數(shù)據(jù)條數(shù)小于等于設(shè)定的N條，則實(shí)時(shí)同步解密；

S4、若同一LastUpDateTime對(duì)應(yīng)數(shù)據(jù)條數(shù)大于設(shè)定的N條的，則存臨時(shí)庫將數(shù)據(jù)直接保存至分布式數(shù)據(jù)庫中數(shù)倉指定表，以保證數(shù)據(jù)高效處理而不被阻塞；

S5、設(shè)定定時(shí)任務(wù)，每時(shí)間間隔讀取臨時(shí)庫中存放的待解密數(shù)據(jù)，每次讀取設(shè)定的M條，并使用多線程并發(fā)機(jī)制進(jìn)行解密，解密完成后保存至分布式數(shù)據(jù)庫中數(shù)倉指定表；

S6、異步解密程序持續(xù)運(yùn)行，以確保待解密數(shù)據(jù)均可完成業(yè)務(wù)解密需求。

2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)高效異同步解密處理方法，其特征在于，所述步驟S3及步驟S4中：所述設(shè)定的N條為1000條。

3.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)高效異同步解密處理方法，其特征在于，所述步驟S5中：所述每時(shí)間間隔設(shè)定為每分鐘。

4.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)高效異同步解密處理方法，其特征在于，所述步驟S5中：所述設(shè)定的M條為5000條。

5.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)高效異同步解密處理方法，其特征在于，所述步驟S2包括：

S2.1、先判斷分析拉取數(shù)據(jù)的LastUpDateTime。

6.根據(jù)權(quán)利要求5所述的一種大數(shù)據(jù)高效異同步解密處理方法，其特征在于，在步驟S2.1之后還包括：

S2.2、對(duì)相同LastUpDateTime進(jìn)行聚合計(jì)算。

7.一種大數(shù)據(jù)高效異同步解密處理模塊，其特征在于，包括：

同步模塊，用于將數(shù)據(jù)同步推送至Kafka集群；

ETL處理模塊，用于使用Kafka消費(fèi)端對(duì)相應(yīng)Topic進(jìn)行ETL處理；

判斷模塊，用于判斷同一LastUpDateTime對(duì)應(yīng)數(shù)據(jù)條數(shù)與設(shè)定的數(shù)值N條的大小；

定時(shí)模塊，用于設(shè)定定時(shí)任務(wù)，每時(shí)間間隔讀取臨時(shí)庫中存放的待解密數(shù)據(jù)；

同步解密模塊，用于同步解密；

異步解密模塊，用于異步解密。

8.根據(jù)權(quán)利要求7所述的一種大數(shù)據(jù)高效異同步解密處理模塊，其特征在于：所述設(shè)定的數(shù)值N條為1000條。

9.一種大數(shù)據(jù)高效異同步解密處理系統(tǒng)，其特征在于，包括：

數(shù)據(jù)源，用于提供要解密的數(shù)據(jù)；

Kafka集群，用于對(duì)相應(yīng)Topic進(jìn)行ETL處理；

臨時(shí)庫，若同一LastUpDateTime對(duì)應(yīng)數(shù)據(jù)條數(shù)大于設(shè)定的N條的，則將待解密數(shù)據(jù)存臨時(shí)庫；

分布式數(shù)據(jù)庫，用于將解密完成后的數(shù)據(jù)保存至分布式數(shù)據(jù)庫中。

10.根據(jù)權(quán)利要求9所述的一種大數(shù)據(jù)高效異同步解密處理系統(tǒng)，其特征在于：所述設(shè)定的N條為1000條。