[發明專利]實現安全防御的多方聯合訓練神經網絡的方法及裝置

有效

• 申請號: 201911039139.6
• 申請日: 2019-10-29
• 公開（公告）號: CN110751291B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 陳超超;王力;周俊
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種實現安全防御的多方聯合訓練神經網絡的方法，其中多方包括對應于多個數據方的多個客戶端，以及中立的服務器。多個客戶端之間使用安全多方技術MPC，在保護數據隱私的基礎上共同計算一個或多個隱層，然后將計算出的隱層放在中立的服務器上，進行其余復雜的神經網絡計算，以得到預測結果，用于跟樣本標簽比對確定預測損失。此外，多個客戶端中還各自部署模擬攻擊者的攻擊者模型，并各自計算攻擊者損失。進一步地，服務器根據基于預測損失和攻擊者損失確定的訓練損失，調整其上部署的其余復雜神經網絡的參數，多個客戶端根據訓練損失調整各自維護的共同計算隱層所對應的部分參數，以及根據攻擊者損失調整攻擊者模型的參數。

技術領域

本說明書一個或多個實施例涉及信息安全技術領域，尤其涉及一種實現安全防御的多方聯合訓練神經網絡的方法及裝置。

背景技術

目前，多個數據方協同訓練機器學習模型已引發研究熱潮。其中的難點在于，在訓練過程中如何保證各方數據的安全。比如說，支付平臺中擁有用戶的一些特征和標簽，銀行中擁有用戶的另一些特征，此時支付平臺和銀行希望使用雙方的數據共同建立機器學習模型。但是，因為存在關于數據安全的法規，或雙方不愿意將數據公開給對方使用等原因，所以需要通過能夠保障自身數據安全的形式，共同建模。

為保障數據安全，在協同建模過程中通常會利用加密技術處理數據。然而因數據處理繁瑣，導致建模效率不佳。尤其在模型采用神經網絡的情況下，因模型參數往往較多，導致模型訓練占用大量的計算資源、耗費大量時間。

因此，迫切需要一種合理的方案，可以在保障各方數據安全的同時，高效訓練神經網絡模型，從而節約計算資源和計算耗時。

發明內容

本說明書一個或多個實施例描述了一種實現安全防御的多方聯合訓練神經網絡的方法，可以在保障各方數據安全的同時，高效訓練神經網絡模型，從而節約計算資源和計算耗時。

根據第一方面，提供一種實現安全防御的多方聯合訓練神經網絡的方法，其中，所述神經網絡包括N個隱層，所述多方包括服務器和M個客戶端；所述M個客戶端各自存儲目標樣本的部分特征，維護所述N個隱層中前K個隱層的部分參數，并各自部署有攻擊者模型，所述攻擊者模型用于根據對應客戶端中針對第K個隱層的輸出反推該客戶端中存儲的樣本特征，其中N、K和M為正整數，并且N＞K，M＞1。該方法應用于所述服務器，該方法包括：

從所述M個客戶端獲取針對所述第K個隱層的M個輸出；從任意的第一客戶端獲取的第一輸出，由所述第一客戶端根據其存儲的第一特征部分和第一參數部分，以及基于安全多方計算MPC技術從M個客戶端中的其他客戶端所獲取的加密特征和加密參數而確定。對所述M個輸出進行綜合，得到綜合輸出；所述綜合輸出相當于，將所述M個客戶端各自存儲的部分特征進行綜合后輸入所述前K個隱層而得到的輸出。將所述綜合輸出輸入所述神經網絡的后N-K個隱層中，得到針對第N個隱層的輸出，用于輸入所述神經網絡的輸出層，得到預測結果。獲取預測損失，所述預測損失根據所述預測結果和所述目標樣本的樣本標簽而確定。從所述M個客戶端獲取M個攻擊損失；其中從所述第一客戶端獲取的第一攻擊損失，基于所述第一特征部分和第一反推結果而確定，所述第一反推結果通過將所述第一輸出輸入第一客戶端中部署的第一攻擊者模型而得到。基于所述預測損失和所述M個攻擊損失，確定訓練損失，所述訓練損失正相關于所述預測損失，并且負相關于所述M個攻擊損失。利用所述訓練損失，至少調整所述后N-K個隱層中的參數，所述訓練損失還用于所述M個客戶端調整各自維護的部分參數。

在一個實施例中，所述輸出層部署在所述服務器中；在得到針對第N個隱層的輸出之后，以及，在獲取預測損失之前，所述方法還包括：將所述針對第N個隱層的輸出輸入所述輸出層中，得到所述預測結果。所述獲取預測損失包括：根據所述預測結果和所述樣本標簽，確定所述預測損失。所述至少調整所述后N-K個隱層中的參數，還包括：調整所述輸出層中的參數。