[發(fā)明專(zhuān)利]縱向聯(lián)邦統(tǒng)計(jì)中的無(wú)序數(shù)據(jù)去重方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011599999.8
• 申請(qǐng)日: 2020-12-28
• 公開(kāi)（公告）號(hào): CN112685395A
• 公開(kāi)（公告）日: 2021-04-20
• 發(fā)明（設(shè)計(jì)）人: 馬國(guó)強(qiáng);譚明超;范濤;陳天健;楊強(qiáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類(lèi)號(hào): G06F16/215
• 分類(lèi)號(hào): G06F16/215;G06F21/62
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 張志江

1.一種縱向聯(lián)邦統(tǒng)計(jì)中的無(wú)序數(shù)據(jù)去重方法，其特征在于，所述縱向聯(lián)邦統(tǒng)計(jì)中的無(wú)序數(shù)據(jù)去重方法應(yīng)用于縱向聯(lián)邦中的任意一個(gè)參與方，所述縱向聯(lián)邦統(tǒng)計(jì)中的無(wú)序數(shù)據(jù)去重方法包括：

接收縱向聯(lián)邦中的其他參與方發(fā)送的各第一冪運(yùn)算結(jié)果，其中，各所述第一冪運(yùn)算結(jié)果為所述其他參與方在本地，對(duì)各預(yù)設(shè)對(duì)齊標(biāo)識(shí)下的第一無(wú)序數(shù)據(jù)分別進(jìn)行哈希運(yùn)算后再基于預(yù)設(shè)隨機(jī)數(shù)進(jìn)行冪運(yùn)算得到；

在本地對(duì)各所述預(yù)設(shè)對(duì)齊標(biāo)識(shí)下的第二無(wú)序數(shù)據(jù)分別進(jìn)行哈希運(yùn)算得到各第二哈希數(shù)據(jù)，針對(duì)各所述第二哈希數(shù)據(jù)進(jìn)行冪運(yùn)算得到各第二冪運(yùn)算結(jié)果；

按照各所述預(yù)設(shè)對(duì)齊標(biāo)識(shí)聚合各所述第一冪運(yùn)算結(jié)果和各所述第二冪運(yùn)算結(jié)果得到各聚合結(jié)果，并針對(duì)各所述聚合結(jié)果進(jìn)行二次冪運(yùn)算得到各二次冪運(yùn)算結(jié)果；

確定各所述二次冪運(yùn)算結(jié)果中相等結(jié)果在各所述預(yù)設(shè)對(duì)齊標(biāo)識(shí)中指向的目標(biāo)對(duì)齊標(biāo)識(shí)，并根據(jù)所述目標(biāo)對(duì)齊標(biāo)識(shí)對(duì)所述第一無(wú)序數(shù)據(jù)和所述第二無(wú)序數(shù)據(jù)進(jìn)行去重處理。

2.如權(quán)利要求1所述的縱向聯(lián)邦統(tǒng)計(jì)中的無(wú)序數(shù)據(jù)去重方法，其特征在于，所述預(yù)設(shè)對(duì)齊標(biāo)識(shí)為縱向聯(lián)邦中各參與方預(yù)先執(zhí)行數(shù)據(jù)對(duì)齊后，已對(duì)齊部分自有無(wú)序數(shù)據(jù)的行標(biāo)識(shí)，各所述參與方預(yù)先協(xié)商一個(gè)在各自本地進(jìn)行哈希運(yùn)算的哈希函數(shù)，

所述在本地對(duì)各所述預(yù)設(shè)對(duì)齊標(biāo)識(shí)下的第二無(wú)序數(shù)據(jù)分別進(jìn)行哈希運(yùn)算得到各第二哈希數(shù)據(jù)，針對(duì)各所述第二哈希數(shù)據(jù)進(jìn)行冪運(yùn)算得到各第二冪運(yùn)算結(jié)果的步驟，包括：

在本端的自有無(wú)序數(shù)據(jù)中提取所述行標(biāo)識(shí)下的各行第二無(wú)序數(shù)據(jù)；

調(diào)用所述哈希函數(shù)分別針對(duì)各行所述第二無(wú)序數(shù)據(jù)中，屬于各第二特征列的特征數(shù)據(jù)進(jìn)行哈希運(yùn)算得到各哈希結(jié)果；

將屬于同一個(gè)所述行標(biāo)識(shí)的各哈希結(jié)果標(biāo)記為一行第二哈希數(shù)據(jù)，并基于預(yù)設(shè)質(zhì)數(shù)針對(duì)各行所述第二哈希數(shù)據(jù)分別進(jìn)行冪運(yùn)算得到各第二冪運(yùn)算結(jié)果，其中，所述預(yù)設(shè)質(zhì)數(shù)為預(yù)先與所述其他參與方協(xié)商確定。

3.如權(quán)利要求2所述的縱向聯(lián)邦統(tǒng)計(jì)中的無(wú)序數(shù)據(jù)去重方法，其特征在于，所述在本端的自有無(wú)序數(shù)據(jù)中提取所述行標(biāo)識(shí)下的各行第二無(wú)序數(shù)據(jù)的步驟，包括：

接收預(yù)設(shè)數(shù)據(jù)去重請(qǐng)求，并解析所述預(yù)設(shè)數(shù)據(jù)去重請(qǐng)求得到行標(biāo)識(shí)，其中，所述行標(biāo)識(shí)的數(shù)量大于或者等于一；

在本端檢測(cè)自有無(wú)序數(shù)據(jù)中各第二特征列下屬于所述行標(biāo)識(shí)的特征數(shù)據(jù)；

將相同所述行標(biāo)識(shí)下的所述特征數(shù)據(jù)作為一行第二無(wú)序數(shù)據(jù)，以提取到各行所述第二無(wú)序數(shù)據(jù)。

4.如權(quán)利要求1所述的縱向聯(lián)邦統(tǒng)計(jì)中的無(wú)序數(shù)據(jù)去重方法，其特征在于，所述按照各所述預(yù)設(shè)對(duì)齊標(biāo)識(shí)聚合各所述第一冪運(yùn)算結(jié)果和各所述第二冪運(yùn)算結(jié)果得到各聚合結(jié)果，并針對(duì)各所述聚合結(jié)果進(jìn)行二次冪運(yùn)算得到各二次冪運(yùn)算結(jié)果的步驟，包括：

遍歷各所述第一冪運(yùn)算結(jié)果和各所述第二冪運(yùn)算結(jié)果各自映射的所述預(yù)設(shè)對(duì)齊標(biāo)識(shí)；

將映射相同所述預(yù)設(shè)標(biāo)識(shí)的所述第一冪運(yùn)算結(jié)果和所述第二冪運(yùn)算結(jié)果進(jìn)行聚合以得到各所述預(yù)設(shè)標(biāo)識(shí)各自映射的聚合結(jié)果；

在本地針對(duì)各所述聚合結(jié)果分別進(jìn)行二次冪運(yùn)算得到各所述預(yù)設(shè)對(duì)齊標(biāo)識(shí)各自映射的二次冪運(yùn)算結(jié)果。

5.如權(quán)利要求1所述的縱向聯(lián)邦統(tǒng)計(jì)中的無(wú)序數(shù)據(jù)去重方法，其特征在于，所述確定各所述二次冪運(yùn)算結(jié)果中相等結(jié)果在各所述預(yù)設(shè)對(duì)齊標(biāo)識(shí)中指向的目標(biāo)對(duì)齊標(biāo)識(shí)的步驟，包括：

檢測(cè)各所述二次冪運(yùn)算結(jié)果中的相等結(jié)果；

將各所述相等結(jié)果在各所述預(yù)設(shè)對(duì)齊標(biāo)識(shí)中各自映射的預(yù)設(shè)對(duì)齊標(biāo)識(shí)確定為目標(biāo)對(duì)齊標(biāo)識(shí)。

6.如權(quán)利要求1所述的縱向聯(lián)邦統(tǒng)計(jì)中的無(wú)序數(shù)據(jù)去重方法，其特征在于，所述根據(jù)所述目標(biāo)對(duì)齊標(biāo)識(shí)對(duì)所述第一無(wú)序數(shù)據(jù)和所述第二無(wú)序數(shù)據(jù)進(jìn)行去重處理的步驟，包括：

確定所述目標(biāo)對(duì)齊標(biāo)識(shí)分別在各行所述第二無(wú)序數(shù)據(jù)中指向的目標(biāo)第二去重?cái)?shù)據(jù)，并在各所述目標(biāo)第二去重?cái)?shù)據(jù)中確定唯一的保留數(shù)據(jù)；

將各所述目標(biāo)第二去重?cái)?shù)據(jù)中除所述保留數(shù)據(jù)之外的其他目標(biāo)第二去重?cái)?shù)據(jù)進(jìn)行清除；

確定所述保留數(shù)據(jù)在所述目標(biāo)對(duì)齊標(biāo)識(shí)中對(duì)應(yīng)的保留標(biāo)識(shí)，并將所述目標(biāo)對(duì)齊標(biāo)識(shí)中除所述保留標(biāo)識(shí)之外的其他目標(biāo)對(duì)齊標(biāo)識(shí)發(fā)送至所述其他參與方，以供所述其他參與方確定所述其他目標(biāo)對(duì)齊標(biāo)識(shí)在各行所述第一無(wú)序數(shù)據(jù)中指向的目標(biāo)第一去重?cái)?shù)據(jù)，并清除所述目標(biāo)第一去重?cái)?shù)據(jù)。