[發明專利]聯合訓練業務模型的方法及裝置

有效

• 申請號: 202010849443.3
• 申請日: 2020-08-21
• 公開（公告）號: CN111723404B
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 翁海琴
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/60;G06N20/00
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種聯合訓練業務模型的方法，其中，聯合訓練業務模型的多個業務方包括分別持有部分樣本數據并作為計算方的第一方和第二方，以及作為協調方的第三方；所述方法由第一方執行，包括：

獲取按照與第二方約定順序對應一致的當前訓練樣本的樣本數據，所述樣本數據包括特征數據和/或標簽數據；

對所述樣本數據添加擾動，形成差分隱私的擾動樣本數據；

基于所述擾動樣本數據，通過同態加密方式，與第二方共同確定業務模型的模型參數的當前梯度，從而得到通過在所述同態加密方式下約定的公鑰加密的當前梯度的第一密文分量，其中，第一方和第二方所使用的模型參數分別基于在第一方和第二方之間公開的模型參數確定，所述同態加密方式下，第三方持有與所述約定的公鑰相匹配的私鑰；

將所述當前梯度的第一密文分量發送至第三方，以供第三方根據所述當前梯度的第一密文分量，以及從第二方獲取的所述當前梯度的第二密文分量，利用在所述同態加密方式下約定的私鑰解密并得到明文當前梯度；

接收第三方反饋的明文當前梯度，并對所述明文當前梯度添加擾動，得到擾動梯度；

利用擾動梯度更新本地的模型參數。

2.根據權利要求1所述的方法，其中，所述業務模型為邏輯回歸模型。

3.根據權利要求1所述的方法，其中，所述樣本數據通過向量或矩陣形式表示，所述對所述樣本數據添加擾動，形成差分隱私的擾動樣本數據包括：

基于預設的隱私保護預算生成滿足高斯分布或拉普拉斯分布的擾動向量或擾動矩陣；

在所述樣本數據上疊加相應的擾動向量或擾動矩陣，得到擾動樣本數據。

4.根據權利要求1所述的方法，其中，在所述樣本數據包括獨熱表示的字符向量的情況下，所述對所述樣本數據添加擾動，形成差分隱私的擾動樣本數據包括：

利用差分隱私的指數形式對所述樣本數據添加擾動。

5.根據權利要求1所述的方法，其中，所述當前梯度為各個元素分別對應于多個模型參數的梯度向量或梯度矩陣，所述對所述明文當前梯度添加擾動，得到擾動梯度包括：

通過預先設定的隱私保護預算，生成符合高斯分布或拉普拉斯分布的擾動向量或擾動矩陣；

在所述梯度向量或梯度矩陣上疊加將所生成的擾動向量或擾動矩陣，得到擾動梯度。

6.根據權利要求1所述的方法，所述利用擾動梯度更新本地的模型參數包括：

將本地的模型參數更新為，當前模型參數與以下項的差：學習率與擾動梯度的乘積。

7.一種聯合訓練業務模型的方法，聯合訓練業務模型的多個業務方包括分別持有部分樣本數據并作為計算方的第一方和第二方，以及作為協調方的第三方；所述方法由第三方執行，包括：

從第一方、第二方分別接收業務模型的當前梯度的第一密文分量和當前梯度的第二密文分量，其中，所述當前梯度的第一密文分量和當前梯度的第二密文分量由第一方和第二方基于擾動樣本數據，通過同態加密方式確定，并通過在所述同態加密方式下約定的公鑰進行加密，其中，第一方和第二方所使用的模型參數分別基于在第一方和第二方之間公開的模型參數確定，所述同態加密方式下，第三方持有與所述約定的公鑰相匹配的私鑰；

利用所述同態加密方式下約定的私鑰解密所述當前梯度的第一密文分量和所述當前梯度的第二密文分量，從而確定明文當前梯度；

將所述明文當前梯度分別發送給第一方和第二方，以供第一方和第二方分別對所述明文當前梯度添加擾動，得到擾動梯度，并利用擾動梯度更新本地的模型參數。

8.根據權利要求7所述的方法，其中，所述方法由第三方通過可信執行環境執行。

9.根據權利要求7所述的方法，其中，所述明文當前梯度為，通過私鑰解密的當前梯度的第一密文分量與第二密文分量之和。