[發(fā)明專利]大數(shù)據(jù)脫敏方法

在審

• 申請?zhí)枺?/td>: 202010675130.0
• 申請日: 2020-07-14
• 公開（公告）號: CN111814187A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計(jì)）人: 臧其事;趙可欣;吳曉峰
• 申請（專利權(quán)）人: 中國農(nóng)業(yè)銀行股份有限公司上海市分行
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06Q40/02;G06F7/58;G06F17/16
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 陸嘉

1.一種大數(shù)據(jù)脫敏方法，其特征在于，對多維度事實(shí)表中的指定數(shù)據(jù)進(jìn)行脫敏，包括：

初始化步驟，讀取多維度事實(shí)表中的指定數(shù)據(jù)并排列為一個(gè)數(shù)據(jù)矩陣，數(shù)據(jù)矩陣中的每一列對應(yīng)一個(gè)維度，該數(shù)據(jù)矩陣為原始數(shù)據(jù)矩陣；

空間變換步驟，按照列對每一個(gè)維度的指定數(shù)據(jù)進(jìn)行變換，所述變換包括拉伸變換、收縮變換或者扭曲變換，得到經(jīng)變換的數(shù)據(jù)矩陣；

其中，經(jīng)歸一化處理后，經(jīng)變換的數(shù)據(jù)矩陣中的各個(gè)數(shù)據(jù)的值與原始數(shù)據(jù)矩陣中的對應(yīng)數(shù)值的差異小于5％。

2.如權(quán)利要求1所述的大數(shù)據(jù)脫敏方法，其特征在于，

所述拉伸變換包括：

生成一列隨機(jī)放大系數(shù)，隨機(jī)放大系數(shù)的數(shù)量與對應(yīng)的列中的指定數(shù)據(jù)的數(shù)量相同，該列隨機(jī)放大系數(shù)滿足正態(tài)分布；

將該列指定數(shù)據(jù)與該列隨機(jī)放大系數(shù)相乘，得到經(jīng)拉伸變換的列；

所述收縮變換包括：

生成一列隨機(jī)收縮系數(shù)，隨機(jī)收縮系數(shù)的數(shù)量與對應(yīng)的列中的指定數(shù)據(jù)的數(shù)量相同，該列隨機(jī)收縮系數(shù)滿足正態(tài)分布；

將該列指定數(shù)據(jù)與該列隨機(jī)收縮系數(shù)相乘，得到經(jīng)收縮變換的列。

3.如權(quán)利要求1所述的大數(shù)據(jù)脫敏方法，其特征在于，所述扭曲變換包括：

生成一Sigmod函數(shù)；

生成一列隨機(jī)附加系數(shù)，隨機(jī)附加系數(shù)的數(shù)量與對應(yīng)的列中的指定數(shù)據(jù)的數(shù)量相同，該列隨機(jī)附加系數(shù)滿足正態(tài)分布；

使用所述Sigmod函數(shù)對該列指定數(shù)據(jù)進(jìn)行運(yùn)算，運(yùn)算的結(jié)果與對應(yīng)的隨機(jī)附加系數(shù)共同得到經(jīng)扭曲變換的列。

4.如權(quán)利要求1所述的大數(shù)據(jù)脫敏方法，其特征在于，根據(jù)對每一個(gè)維度的指定數(shù)據(jù)的變換，生成一變換矩陣，變換矩陣中的每一列對應(yīng)指定數(shù)據(jù)的一個(gè)維度，將變換矩陣與原始數(shù)據(jù)矩陣相乘得到經(jīng)變換的數(shù)據(jù)矩陣。

5.如權(quán)利要求1所述的大數(shù)據(jù)脫敏方法，其特征在于，還包括：對多維度事實(shí)表中除了指定數(shù)據(jù)之外的其余數(shù)據(jù)進(jìn)行加密。

6.一種分布式大數(shù)據(jù)脫敏方法，其特征在于，在分布式框架下對多維度事實(shí)表中的指定數(shù)據(jù)進(jìn)行脫敏，包括：

映射步驟，由映射器讀取多維度事實(shí)表中的數(shù)據(jù)并排列為一個(gè)數(shù)據(jù)矩陣，數(shù)據(jù)矩陣中的每一列對應(yīng)一個(gè)維度，每一個(gè)維度使用一個(gè)獨(dú)立的映射器，該數(shù)據(jù)矩陣為未篩選數(shù)據(jù)矩陣；

篩選步驟，對未篩選數(shù)據(jù)矩陣進(jìn)行篩選，選擇指定數(shù)據(jù)所在的列形成原始數(shù)據(jù)矩陣，除了指定數(shù)據(jù)之外的其余數(shù)據(jù)形成輔助數(shù)據(jù)矩陣；

空間變換步驟，按照列對每一個(gè)維度的指定數(shù)據(jù)進(jìn)行變換，所述變換包括拉伸變換、收縮變換或者扭曲變換，每一個(gè)維度的變換使用獨(dú)立的歸約器進(jìn)行處理，歸約后得到經(jīng)變換的數(shù)據(jù)矩陣，其中，經(jīng)歸一化處理后，經(jīng)變換的數(shù)據(jù)矩陣中的各個(gè)數(shù)據(jù)的值與原始數(shù)據(jù)矩陣中的對應(yīng)數(shù)值的差異小于5％；

數(shù)據(jù)合并步驟，將輔助數(shù)據(jù)矩陣中的數(shù)據(jù)進(jìn)行加密，經(jīng)加密后的輔助數(shù)據(jù)矩陣和經(jīng)變換的數(shù)據(jù)矩陣合并，生成脫敏數(shù)據(jù)矩陣。

7.如權(quán)利要求6所述的分布式大數(shù)據(jù)脫敏方法，其特征在于，

所述拉伸變換包括：

生成一列隨機(jī)放大系數(shù)，隨機(jī)放大系數(shù)的數(shù)量與對應(yīng)的列中的指定數(shù)據(jù)的數(shù)量相同，該列隨機(jī)放大系數(shù)滿足正態(tài)分布；

將該列指定數(shù)據(jù)與該列隨機(jī)放大系數(shù)相乘，得到經(jīng)拉伸變換的列；

所述收縮變換包括：

生成一列隨機(jī)收縮系數(shù)，隨機(jī)收縮系數(shù)的數(shù)量與對應(yīng)的列中的指定數(shù)據(jù)的數(shù)量相同，該列隨機(jī)收縮系數(shù)滿足正態(tài)分布；

將該列指定數(shù)據(jù)與該列隨機(jī)收縮系數(shù)相乘，得到經(jīng)收縮變換的列。

8.如權(quán)利要求6所述的分布式大數(shù)據(jù)脫敏方法，其特征在于，所述扭曲變換包括：

生成一Sigmod函數(shù)；

生成一列隨機(jī)附加系數(shù)，隨機(jī)附加系數(shù)的數(shù)量與對應(yīng)的列中的指定數(shù)據(jù)的數(shù)量相同，該列隨機(jī)附加系數(shù)滿足正態(tài)分布；

使用所述Sigmod函數(shù)對該列指定數(shù)據(jù)進(jìn)行運(yùn)算，運(yùn)算的結(jié)果與對應(yīng)的隨機(jī)附加系數(shù)共同得到經(jīng)扭曲變換的列。

9.如權(quán)利要求6所述的分布式大數(shù)據(jù)脫敏方法，其特征在于，歸約器根據(jù)對每一個(gè)維度的指定數(shù)據(jù)的變換生成一列變換矩陣，歸約器將該列變換矩陣與原始數(shù)據(jù)矩陣中對應(yīng)的一列指定數(shù)據(jù)相乘得到經(jīng)變換的數(shù)據(jù)矩陣中對應(yīng)的一列數(shù)據(jù)。