[發(fā)明專利]數(shù)據(jù)脫敏方法及裝置

有效

• 申請?zhí)枺?/td>: 201611260695.2
• 申請日: 2016-12-30
• 公開（公告）號: CN106778351B
• 公開（公告）日: 2020-04-21
• 發(fā)明（設(shè)計）人: 王明;馬曉雨
• 申請（專利權(quán)）人: 中國民航信息網(wǎng)絡(luò)股份有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F16/22;G06F16/21
• 代理公司: 北京瑞思知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11341
• 代理人: 李濤

1.一種數(shù)據(jù)脫敏方法，其特征在于，包括：

脫敏平臺配置HBase數(shù)據(jù)庫的脫敏策略；

所述脫敏平臺根據(jù)所述脫敏策略從所述HBase數(shù)據(jù)庫獲取表結(jié)構(gòu)，配置用于脫敏的MapReduce作業(yè)；

所述脫敏平臺提交所述MapReduce作業(yè)給Hadoop集群執(zhí)行脫敏操作；

其中，配置所述HBase數(shù)據(jù)庫的所述脫敏策略包括：將所述Hadoop的應(yīng)用程序編程接口API作為提交所述MapReduce作業(yè)的通道；將所述MapReduce作業(yè)需要依賴脫敏平臺的其它類、脫敏平臺的數(shù)據(jù)庫配置信息、以及第三方JAR包配置在包括所述MapReduce作業(yè)的胖JAR包；設(shè)置系統(tǒng)環(huán)境變量Hadoop_USER_NAME對提交所述MapReduce作業(yè)的用戶進(jìn)行鑒權(quán)；

根據(jù)脫敏策略從HBase數(shù)據(jù)庫獲取表結(jié)構(gòu)，配置用于脫敏的MapReduce作業(yè)包括：

根據(jù)表結(jié)構(gòu)對所述HBase數(shù)據(jù)庫的表做全表掃描，和/或，根據(jù)預(yù)配置的表項和記錄數(shù)對所述HBase數(shù)據(jù)庫的表做全表掃描；

對掃描得到的所述HBase數(shù)據(jù)庫的表和表結(jié)構(gòu)進(jìn)行脫敏算法的配置得到所述MapReduce作業(yè)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述表結(jié)構(gòu)為：字段名。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，提交所述MapReduce作業(yè)給Hadoop集群執(zhí)行脫敏操作包括：

根據(jù)預(yù)設(shè)規(guī)則判斷是否覆蓋所述HBase數(shù)據(jù)庫的原表；

在覆蓋所述HBase數(shù)據(jù)庫的原表的情況下，刪除所述原表并重命名脫敏后的表為所述原表的名稱；在不覆蓋所述HBase數(shù)據(jù)庫的原表的情況下，創(chuàng)建表并保存脫敏后的表數(shù)據(jù)，其中，創(chuàng)建的表配置原表名的后綴名。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，提交所述MapReduce作業(yè)給Hadoop集群執(zhí)行脫敏操作包括：

獲取所述脫敏策略配置的脫敏字段及脫敏算法，以及查詢用于脫敏的預(yù)設(shè)數(shù)據(jù)字典；

根據(jù)所述脫敏字段和所述預(yù)設(shè)數(shù)據(jù)字典執(zhí)行所述脫敏算法，返回脫敏數(shù)據(jù)。

5.一種數(shù)據(jù)脫敏裝置，應(yīng)用于脫敏平臺，其特征在于，包括：

配置模塊，配置HBase數(shù)據(jù)庫的脫敏策略；

獲取模塊，用于根據(jù)所述脫敏策略從所述HBase數(shù)據(jù)庫獲取表結(jié)構(gòu)，配置用于脫敏的MapReduce作業(yè)；

提交模塊，用于提交所述MapReduce作業(yè)給Hadoop集群執(zhí)行脫敏操作；

其中，所述配置模塊包括：第一配置單元，用于將所述Hadoop的應(yīng)用程序編程接口API作為提交所述MapReduce作業(yè)的通道；第二配置單元，用于將所述MapReduce作業(yè)需要依賴脫敏平臺的其它類、脫敏平臺的數(shù)據(jù)庫配置信息、以及第三方JAR包配置在包括所述MapReduce作業(yè)的胖JAR包；第三配置單元，用于設(shè)置系統(tǒng)環(huán)境變量Hadoop_USER_NAME對提交所述MapReduce作業(yè)的用戶進(jìn)行鑒權(quán)；

所述獲取模塊包括：

掃描單元，用于根據(jù)表結(jié)構(gòu)對所述HBase數(shù)據(jù)庫的表做全表掃描，和/或，根據(jù)預(yù)配置的表項和記錄數(shù)對所述HBase數(shù)據(jù)庫的表做全表掃描；

獲取單元，用于對掃描得到的所述HBase數(shù)據(jù)庫的表和表結(jié)構(gòu)進(jìn)行脫敏算法的配置得到所述MapReduce作業(yè)。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述表結(jié)構(gòu)為：字段名。

7.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述提交模塊包括：

判斷單元，用于根據(jù)預(yù)設(shè)規(guī)則判斷是否覆蓋所述HBase數(shù)據(jù)庫的原表；

處理單元，用于在覆蓋所述HBase數(shù)據(jù)庫的原表的情況下，刪除所述原表并重命名脫敏后的表為所述原表的名稱；在不覆蓋所述HBase數(shù)據(jù)庫的原表的情況下，創(chuàng)建表并保存脫敏后的表數(shù)據(jù)，其中，創(chuàng)建的表配置原表名的后綴名。

8.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述提交模塊包括：

處理單元，用于獲取所述脫敏策略配置的脫敏字段及脫敏算法，以及查詢用于脫敏的預(yù)設(shè)數(shù)據(jù)字典；

脫敏單元，用于根據(jù)所述脫敏字段和所述預(yù)設(shè)數(shù)據(jù)字典執(zhí)行所述脫敏算法，返回脫敏數(shù)據(jù)。