[發明專利]縱向聯邦統計中的無序數據去重方法、裝置、設備及介質

在審

• 申請號: 202011599999.8
• 申請日: 2020-12-28
• 公開（公告）號: CN112685395A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 馬國強;譚明超;范濤;陳天健;楊強
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F21/62
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 張志江

本發明公開了一種縱向聯邦統計中的無序數據去重方法、裝置、終端設備、存儲介質以及計算機程序產品，通過接收縱向聯邦中的其他參與方發送的各第一冪運算結果；在本地對各預設對齊標識下的第二無序數據分別進行哈希運算得到各第二哈希數據，針對各第二哈希數據進行冪運算得到各第二冪運算結果；按照各預設對齊標識聚合各第一冪運算結果和各第二冪運算結果得到各聚合結果，并針對各聚合結果進行二次冪運算得到各二次冪運算結果；確定各二次冪運算結果中相等結果在各預設對齊標識中指向的目標對齊標識，并根據目標對齊標識對第一無序數據和第二無序數據進行去重處理。本發明能夠在保證縱向聯邦數據隱私安全的前提下，對該聯邦中的無序數據進行去重。

技術領域

本發明涉及聯邦數據去重技術領域，尤其涉及一種縱向聯邦統計中的無序數據去重方法、裝置、終端設備、存儲介質以及計算機程序產品。

背景技術

時下，科學技術的發展早已步入數據信息化時代，而針對數據的統計應用也已經變得越來越廣泛。在數據統計場景中，針對重復的數據進行去重處理是十分常見的操作，而重復的數據當中當然不能排除無序數據，即，對于統計得到的多行數據，若以選擇特定的統計特征為列所構成的集合是相等的，則認為該多行數據等價，從而僅需要保留該多行數據當中的其中一行。

然而，在多個擁有自有數據的用戶聯合組成縱向的聯邦場景之后，基于對各個用戶自有數據的隱私安全考慮，就無法像單邊場景一樣先對無序數據進行排序后再哈希進而實現去重，即，在縱向聯邦場景中難以將多方數據聚合在一起然后進行排序去重，且盡管在縱向聯邦場景下可基于加密傳輸的方式完成數據聚合，目前縱向聯邦場景中的數據去重方案也僅僅是針對特征列固定的數據進行去重處理。

綜上，目前在縱向聯邦場景下的數據去重方案，尚無法針對無序數據進行去重。

發明內容

本發明的主要目的在于提供一種縱向聯邦統計中的無序數據去重方法、裝置、終端設備、存儲介質以及計算機程序產品，旨在解決現有技術中，縱向聯邦場景下的數據去重方案，尚無法針對無序數據進行去重的技術問題。

為實現上述目的，本發明提供一種縱向聯邦統計中的無序數據去重方法，所述縱向聯邦統計中的無序數據去重方法應用于縱向聯邦中的任意一個參與方，所述縱向聯邦統計中的無序數據去重方法包括：

接收縱向聯邦中的其他參與方發送的各第一冪運算結果，其中，各所述第一冪運算結果為所述其他參與方在本地，對各預設對齊標識下的第一無序數據分別進行哈希運算后再基于預設隨機數進行冪運算得到；

在本地對各所述預設對齊標識下的第二無序數據分別進行哈希運算得到各第二哈希數據，針對各所述第二哈希數據進行冪運算得到各第二冪運算結果；

按照各所述預設對齊標識聚合各所述第一冪運算結果和各所述第二冪運算結果得到各聚合結果，并針對各所述聚合結果進行二次冪運算得到各二次冪運算結果；

確定各所述二次冪運算結果中相等結果在各所述預設對齊標識中指向的目標對齊標識，并根據所述目標對齊標識對所述第一無序數據和所述第二無序數據進行去重處理。

進一步地，所述預設對齊標識為縱向聯邦中各參與方預先執行數據對齊后，已對齊部分自有無序數據的行標識，各所述參與方預先協商一個在各自本地進行哈希運算的哈希函數，

所述在本地對各所述預設對齊標識下的第二無序數據分別進行哈希運算得到各第二哈希數據，針對各所述第二哈希數據進行冪運算得到各第二冪運算結果的步驟，包括：

在本端的自有無序數據中提取所述行標識下的各行第二無序數據；

調用所述哈希函數分別針對各行所述第二無序數據中，屬于各第二特征列的特征數據進行哈希運算得到各哈希結果；