[發明專利]一種數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202310273842.3
• 申請日: 2023-03-20
• 公開（公告）號: CN116318999A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 王川;鄭俊;盛志超;李璐;何晨;徐彥廷
• 申請（專利權）人: 廣東省衛生健康委員會;數字廣東網絡建設有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;H04L9/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 楊義

本發明公開了一種數據處理方法、裝置、電子設備及存儲介質，包括：通過多個業務系統將明文數據寫入至明文表中，并通過全增量轉換平臺將明文表中的明文數據，轉換為密文表中的密文數據；通過應用系統將密文數據寫入至密文表中，并通過全增量轉換平臺將密文表中的密文數據，反向轉換為明文表中的明文數據，以使報表分析系統以及大數據中心對明文數據進行讀取；通過應用系統將密文數據寫入至密文表中，并通過全增量轉換平臺將密文表中的密文數據按照預設秘鑰轉換后，傳輸至大數據中心和報表分析系統。本發明實施例的技術方案可以保證數據時效性，降低改造成本以及對數據庫性能的影響，提高數據處理結果的可靠性。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據處理方法、裝置、電子設備及存儲介質。

背景技術

隨著互聯網技術的發展，網絡中的信息數據已經呈指數級增長的趨勢，為了提高數據獲取效率，多個業務系統可以通過大數據中心共享數據。通用的數據共享方式可以如圖1a所示，應用系統(包括移動端服務和PC端服務)可以將讀取到的業務數據寫入業務數據庫中的明文表。報表分析系統、大數據中心通過只讀賬號直連業務數據庫，然后采用增量抽取的方式讀取明文表數據。

上述數據共享方式中，由于明文表中可能存在敏感數據，由此導致業務數據庫存在數據安全風險。為了解決上述問題，現有技術中通常使用分布式定時任務完成數據加密存儲以及傳輸等過程，即基于分布式任務調度平臺xxl-job新增加密定時任務，然后通過update_time字段增量讀取明文表數據或密文表數據。

但是，現有技術中存在以下技術問題：數據時效性差，定時任務增量明密文轉換、傳輸頻率為15分鐘/次，不能滿足實時性要求高的場景；影響源數據庫性能，定時任務通過select語句從數據庫增量查詢數據時，會對數據庫產生大量突發的查詢流量；數據錯漏風險高，定時任務通過update_time字段增量查詢數據時，極易因應用系統異常插入update_time字段或者定時任務自行維護savepoint異常導致數據錯漏；改造成本高，現有技術中需要為每個數據表單獨梳理制定checkpoint定制化改造。

發明內容

本發明提供了一種數據處理方法、裝置、電子設備及存儲介質，可以保證數據時效性，降低改造成本以及對數據庫性能的影響，提高數據處理結果的可靠性。

根據本發明的一方面，提供了一種數據處理方法，包括：

通過多個業務系統將對應的明文數據寫入至明文表中，并通過全增量轉換平臺將所述明文表中的明文數據，轉換為密文表中的密文數據；

其中，所述多個業務系統包括應用系統、報表分析系統以及大數據中心；

通過應用系統將對應的密文數據寫入至密文表中，并通過全增量轉換平臺將密文表中的密文數據，反向轉換為明文表中的明文數據，以使報表分析系統以及大數據中心對所述明文數據進行讀取；

通過應用系統將對應的密文數據寫入至密文表中，并通過全增量轉換平臺將密文表中的密文數據按照預設秘鑰轉換后，傳輸至大數據中心和報表分析系統。

根據本發明的另一方面，提供了一種數據處理裝置，所述裝置包括：

明文轉換模塊，用于通過多個業務系統將對應的明文數據寫入至明文表中，并通過全增量轉換平臺將所述明文表中的明文數據，轉換為密文表中的密文數據；

其中，所述多個業務系統包括應用系統、報表分析系統以及大數據中心；

密文轉換模塊，用于通過應用系統將對應的密文數據寫入至密文表中，并通過全增量轉換平臺將密文表中的密文數據，反向轉換為明文表中的明文數據，以使報表分析系統以及大數據中心對所述明文數據進行讀取；

密文傳輸模塊，用于通過應用系統將對應的密文數據寫入至密文表中，并通過全增量轉換平臺將密文表中的密文數據按照預設秘鑰轉換后，傳輸至大數據中心和報表分析系統。