[發明專利]一種分布式協同加密方法及裝置

有效

• 申請號: 201410017811.2
• 申請日: 2014-01-15
• 公開（公告）號: CN104780038B
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 尤新霞;龐哲翀;喬棟;郭翔宇;張大亮;郭向紅;孫穎飛;王波;魏國華;白晶晶;岑春祥
• 申請（專利權）人: 中國移動通信集團內蒙古有限公司
• 主分類號: H04L9/00
• 分類號: H04L9/00;H04L9/32
• 代理公司: 北京派特恩知識產權代理有限公司11270
• 代理人: 張振偉,王黎延

技術領域

本發明涉及大數據領域的加密技術，尤其涉及一種分布式協同加密方法及裝置。

背景技術

現有數據加密方式包括單系統加密方式和鏡像拷貝方式，這兩者適合于單數據平臺或數據規模較小的情況；其中，由于數據是以表方式存儲的，鏡像加密方式基本上是表級數據對象的映射同步，不適合多平臺的異構環境模型。對于海量數據的加密，現有技術一般存在兩種解決方案：

一種解決方案是采用由分布式數據倉庫與其他數據庫組成的異構數據平臺系統，在該異構數據平臺系統中，同步各平臺間的隱私數據保護采用的是二次加密方式，即數據倉庫加密和其他數據庫的加密是分兩次進行的：首先，數據倉庫根據已經設定的安全策略對庫內的隱私數據進行加密；之后，其他數據庫根據自身的安全策略再進行加密；當使用隱私數據時用各自的安全策略包括加密算法和密鑰進行還原。

另一種解決方案是在數據提取、轉換和加載（ETL，Extraction Transformation Loading）的過程中采用一次加密，然后異步傳輸給數據倉庫與數據集市。這種方案的問題是無法保證數據倉庫由于其他原因發生變更時，數據的一致性同步，比如密鑰發生變更后，加密數據要重新更新，ETL無法負責同時增加ETL的管理負載，從而降低了數據裝載的速度。

現有技術所采用的二次加密方式導致同一數據源信息要進行兩次加密，消耗大量計算資源，同時二次加密會導致分開加密的算法、密鑰可能不一致，客戶隱私數據可能會產生加密結果差異；現有技術所采用的異步傳輸方式可以實現一次加密，但是無法保障在異步傳輸過程中由于網絡故障，緩沖溢出導致的數據丟失、錯序，帶來的數據質量問題。

以上兩種解決方案都無法解決異構大數據平臺系統在運營過程中，主數據倉庫由于密鑰版本更新等而導致客戶隱私數據密文發生變更后，數據倉庫與其他數據庫中客戶隱私數據的關聯同步和一致性問題。

發明內容

有鑒于此，本發明實施例為解決現有技術中存在的問題而提供一種分布式協同加密方法及裝置，在實現一次加密的同時，能夠解決數據倉庫與系統內其他數據庫之間隱私數據的協同管理問題。

本發明實施例的技術方案是這樣實現的：

一種分布式協同加密方法，應用于異構數據平臺系統，所述異構數據平臺系統包括數據提取、轉換和加載ETL服務器、數據倉庫和一個以上的數據集市，所述數據倉庫中的第一數據對象與所述一個以上的數據集市中的各第二數據對象之間分別存在映射關系；配置源數據中的隱私數據的范圍和隱私屬性，所述隱私屬性至少包括加密的第一版本信息和加密策略，所述方法包括：

所述ETL服務器在對源數據進行加載的過程中，根據所述隱私數據的范圍確定所加載的源數據包括隱私數據時，讀取為所加載的源數據配置的加密策略，根據所述加密策略對所述隱私數據進行加密，得到加密后的源數據；

所述ETL服務器將所述加密后的源數據發送給所述數據倉庫；

所述數據倉庫將所述加密后的源數據寄存于緩存中；

所述數據倉庫根據所述映射關系在所述一個以上的數據集市中確定目標數據集市和所述目標數據集市中對應的目標數據對象；

所述數據倉庫向所述目標數據集市發送數據同步請求消息，并將所述加密后的源數據寫入所述數據倉庫的磁盤中；其中，所述數據同步請求消息中包括所述加密的第一版本信息。

一種分布式協同加密方法，應用于異構數據平臺系統的數據提取、轉換和加載ETL服務器，所述異構數據平臺系統包括ETL服務器和數據倉庫；

所述ETL服務器配置源數據中的隱私數據的隱私屬性，所述隱私屬性至少包括加密策略，所述方法包括：

在對源數據進行加載的過程中，所述ETL服務器根據所述隱私數據的范圍確定所加載的源數據包括隱私數據時，讀取為所加載的源數據配置的加密策略，所述加密策略作為動態鏈接庫中函數的執行輸入參數；

所述ETL服務器根據所述加密策略對所述隱私數據進行加密，得到加密后的源數據；

所述ETL服務器將所述加密后的源數據發送給所述數據倉庫。

一種分布式協同加密方法，應用于異構數據平臺系統，所述異構數據平臺系統包括數據提取、轉換和加載ETL服務器、數據倉庫和一個以上的數據集市，所述數據倉庫中的第一數據對象與所述一個以上的數據集市中的各第二數據對象之間分別存在映射關系；

所述方法包括：

所述數據倉庫接收ETL服務器發送的加密后的源數據，并將所述加密后的源數據寄存于所述數據倉庫的緩存中；