[發(fā)明專利]聯(lián)合訓練業(yè)務模型的方法及裝置

有效

• 申請?zhí)枺?/td>: 202010849443.3
• 申請日: 2020-08-21
• 公開（公告）號: CN111723404B
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計）人: 翁海琴
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/60;G06N20/00
• 代理公司: 北京億騰知識產(chǎn)權(quán)代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種聯(lián)合訓練業(yè)務模型的方法，在多方聯(lián)合訓練業(yè)務模型過程中，多個業(yè)務方包括至少2個計算方和一個協(xié)調(diào)方，計算方持有樣本數(shù)據(jù)，一方面，在計算過程中，單個計算方可以先通過差分隱私方式處理樣本數(shù)據(jù)，以保護數(shù)據(jù)隱私。另一方面，在計算方從協(xié)調(diào)方接收到模型參數(shù)的梯度數(shù)據(jù)后，還可以對梯度數(shù)據(jù)進行差分隱私處理，從而使得計算方使用的梯度數(shù)據(jù)與協(xié)調(diào)方下發(fā)的梯度數(shù)據(jù)不同，進一步保護計算方的數(shù)據(jù)隱私。這種處理方式可以有效保障計算方的數(shù)據(jù)安全。

技術(shù)領(lǐng)域

本說明書一個或多個實施例涉及計算機技術(shù)領(lǐng)域，尤其涉及基于隱私保護，多個業(yè)務方聯(lián)合訓練業(yè)務模型的方法和裝置。

背景技術(shù)

隨著計算機技術(shù)的發(fā)展，機器學習的應用越來越廣泛。為了提供更有效的機器學習模型，通常會涉及多個業(yè)務方共同訓練業(yè)務模型的情形。例如，多個業(yè)務方聯(lián)合提供包含更多特征數(shù)據(jù)的訓練樣本，或者多個業(yè)務方聯(lián)合提供更多數(shù)量的訓練樣本，等等。多個業(yè)務方共同訓練業(yè)務模型的情形往往可以通過多方安全計算來實現(xiàn)。亦即，各個業(yè)務方的隱私數(shù)據(jù)不透漏給其他方的情況下，確定一個約定的機器學習模型。

同態(tài)加密是多方安全計算中常用的一種安全計算方。同態(tài)加密方法中，在計算階段的每一步依然是處理一個a+b或ab，并采用同態(tài)加密體制進行隱藏，即每個參與者得到的只是輸入和輸出的密文。由于經(jīng)過輸入階段，可以假設(shè)通過加密算法E，每個參與者已經(jīng)得到輸入的密文E（a）和E（b），于是計算階段的每一步就是使所有參與者最后得到E（a+b）或E（ab），然后作為下一步計算的輸入計算。

在多方安全計算的多個業(yè)務方包括計算方和協(xié)調(diào)方的情況下，協(xié)調(diào)方可以為計算方進行一些輔助的復雜運算。此時，協(xié)調(diào)方下發(fā)的信息是明文的，計算方之間交換的數(shù)據(jù)是秘文的，但是協(xié)調(diào)方和計算方用同一套公私鑰加密解密，解密私鑰保存在協(xié)調(diào)方。很顯然，如果攻擊者同時控制了1個計算方與協(xié)調(diào)方，利用協(xié)調(diào)方的私鑰解密計算方之間交換的中間計算結(jié)果，就可以推斷出其他計算方的數(shù)據(jù)，如果計算方數(shù)量為2，就可以精確推斷出另一個計算方的隱私數(shù)據(jù)。此外，如果攻擊者僅控制協(xié)調(diào)方，利用協(xié)調(diào)方解密出來的梯度數(shù)據(jù)來訓練推斷攻擊模型，則可以推斷出計算方的隱私數(shù)據(jù)。

發(fā)明內(nèi)容

本說明書一個或多個實施例描述了一種聯(lián)合訓練業(yè)務模型的方法及裝置，用以解決背景技術(shù)提到的一個或多個問題。

根據(jù)第一方面，提供了一種聯(lián)合訓練業(yè)務模型的方法，聯(lián)合訓練業(yè)務模型的多個業(yè)務方包括持有樣本數(shù)據(jù)并作為計算方的第一方和第二方，以及作為協(xié)調(diào)方的第三方；所述方法由第一方執(zhí)行，包括：獲取按照與第二方約定順序?qū)恢碌漠斍坝柧殬颖镜臉颖緮?shù)據(jù)，所述樣本數(shù)據(jù)包括特征數(shù)據(jù)和/或標簽數(shù)據(jù)；對所述樣本數(shù)據(jù)添加擾動，形成差分隱私的擾動樣本數(shù)據(jù)；基于所述擾動樣本數(shù)據(jù)，通過同態(tài)加密方式，與第二方共同確定業(yè)務模型的模型參數(shù)的當前梯度，從而得到通過在所述同態(tài)加密方式下約定的公鑰加密的當前梯度的第一密文分量；將所述當前梯度的第一密文分量發(fā)送至第三方，以供第三方根據(jù)所述當前梯度的第一密文分量，以及從第二方獲取的所述當前梯度的第二密文分量，利用在所述同態(tài)加密方式下約定的私鑰解密并得到明文當前梯度；接收第三方反饋的明文當前梯度，并對所述明文當前梯度添加擾動，得到擾動梯度；利用擾動梯度更新本地的模型參數(shù)。

在一個實施例中，所述業(yè)務模型為邏輯回歸模型。

在一個實施例中，所述樣本數(shù)據(jù)通過向量或矩陣形式表示，所述對所述樣本數(shù)據(jù)添加擾動，形成差分隱私的擾動樣本數(shù)據(jù)包括：基于預設(shè)的隱私保護預算生成滿足高斯分布或拉普拉斯分布的擾動向量或擾動矩陣；將所述擾動向量或擾動矩陣與所述樣本數(shù)據(jù)疊加，得到擾動樣本數(shù)據(jù)。

在一個實施例中，在所述樣本數(shù)據(jù)包括獨熱表示的字符向量的情況下，所述對所述樣本數(shù)據(jù)添加擾動，形成差分隱私的擾動樣本數(shù)據(jù)包括：利用差分隱私的指數(shù)形式對所述樣本數(shù)據(jù)添加擾動。