[發明專利]大數據高效異同步解密處理方法、模塊及系統

在審

• 申請號: 202010838939.0
• 申請日: 2020-08-19
• 公開（公告）號: CN112000969A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 劉躍紅;曾國江;郭倩;李雨峰
• 申請（專利權）人: 銀盛支付服務股份有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 彭光榮

本發明公開了一種大數據高效異同步解密處理方法、模塊及系統，包括：將數據同步推送至Kafka集群；使用Kafka消費端對相應Topic進行ETL處理；若同一LastUpDateTime對應數據條數小于等于設定的N條，則實時同步解密；若同一LastUpDateTime對應數據條數大于設定的N條的，則存臨時庫將數據直接保存至分布式數據庫中數倉指定表；設定定時任務，每時間間隔讀取臨時庫中存放的待解密數據，解密完成后保存至分布式數據庫中數倉指定表；異步解密程序持續運行，以確保待解密數據均可完成業務解密需求。此種大數據高效異同步解密處理方法、模塊及系統根據業務特點同時兼容同步與異步解密方式，滿足大吞吐量性能要求；解決性能瓶頸，增加容錯機制，能滿足大批量事務解密需求。

技術領域

本發明涉及大數據解密領域，特別涉及一種大數據高效異同步解密處理方法、模塊及系統。

背景技術

數據安全對企業生存發展有著舉足輕重的影響，數據資產的外泄、破壞都會導致企業無可挽回的經濟損失和核心競爭力缺失，而往往絕大多數中小企業側重的是業務的快速發展，忽略了數據安全重要性。數據安全控制一直是數據治理的重要環節，數據脫敏屬于數據安全控制的范疇。對互聯網公司、傳統行業來說，數據安全一直是極為重視和敏感的話題。數據脫敏是指對某些敏感信息通過脫敏規則進行數據的變形，實現敏感隱私數據的可靠保護。涉及客戶安全數據或者一些商業性敏感數據，如身份證號、手機號、卡號、客戶號等個人信息按照監管部門規定，都需要進行數據脫敏。在真實業務場景中，開發人員在業務系統中根據監管及數據安全需求，均維護一套加解密系統，對于業務數據根據不同的特點采用不同加解密方法保存數據。

而企業在實際運行中，部分場景需要未加密的全明文場景，如監管取數需求、報送人行相關信息；部分場景需要已加密字段解密后做數據分析；部分場景中，如商戶需下載對賬單等信息數據，交易庫中保存的信息均為脫敏信息。應對類似舉例場景中大批量數據時，若采用臨時實時解密的方式，明顯存在嚴重性能瓶頸，無法短時間內響應大量需求。

發明內容

為了克服現有技術的不足，本發明提供一種大數據高效異同步解密處理方法、模塊及系統。

本發明解決其技術問題所采用的技術方案是：

一種大數據高效異同步解密處理方法，包括：

S1、將數據同步推送至Kafka集群；

S2、使用Kafka消費端對相應Topic進行ETL處理；

S3、若同一LastUpDateTime對應數據條數小于等于設定的N條，則實時同步解密；

S4、若同一LastUpDateTime對應數據條數大于設定的N條的，則存臨時庫將數據直接保存至分布式數據庫中數倉指定表，以保證數據高效處理而不被阻塞；

S5、設定定時任務，每時間間隔讀取臨時庫中存放的待解密數據，每次讀取設定的M條，并使用多線程并發機制進行解密，解密完成后保存至分布式數據庫中數倉指定表；

S6、異步解密程序持續運行，以確保待解密數據均可完成業務解密需求。

進一步地，所述步驟S3及步驟S4中：所述設定的N條為1000條。

進一步地，所述步驟S5中：所述每時間間隔設定為每分鐘。

進一步地，所述步驟S5中：所述設定的M條為5000條。

進一步地，所述步驟S2包括：

S2.1、先判斷分析拉取數據的LastUpDateTime。

進一步地，在步驟S2.1之后還包括：

S2.2、對相同LastUpDateTime進行聚合計算。