[發明專利]聯邦神經網絡模型的訓練方法、裝置、設備及存儲介質

有效

• 申請號: 202011167325.0
• 申請日: 2020-10-27
• 公開（公告）號: CN112149171B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 程勇;薛煥然;符芳誠;陶陽宇
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06N3/04;G06N5/04;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 趙翠萍;張穎玲

本申請實施例提供一種聯邦神經網絡模型的訓練方法、裝置、設備及存儲介質，涉及人工智能技術領域和云技術領域。方法包括：將樣本數據輸入至聯邦神經網絡模型中，以通過第一下層模型對所述樣本數據進行處理，得到下層模型輸出值；將下層模型輸出值、第一參與方生成的交互層模型參數、和基于RIAC加密方式對交互層模型參數進行加密后所得到的加密模型參數，分別輸入至交互層，得到交互層的輸出向量；將輸出向量輸入至所述上層模型中，得到聯邦神經網絡模型的輸出值；將輸出值輸入至預設損失函數中，得到損失結果；根據損失結果對聯邦神經網絡模型進行反向傳播處理。通過本申請實施例，能夠極大的降低計算復雜度，減小計算量，降低耗時。

技術領域

本申請實施例涉及互聯網技術領域，涉及但不限于一種聯邦神經網絡模型的訓練方法、裝置、設備及存儲介質。

背景技術

聯邦學習(FL，Federated Learning)可以在不需要數據出域的情況下利用多方數據源訓練深度學習模型(即人工神經網絡模型ANN)，以及提供模型預測(modelprediction)服務。聯邦學習在保證用戶隱私和數據安全的前提下，充分利用多方數據合作來提升深度學習模型的性能，例如，提升推薦模型的準確率，同時又能保證多方數據合作滿足數據保護法律和法規的要求。特別是縱向聯邦學習，可以通過聯合多家數據源來擴展數據特征維度或者獲得數據標簽信息，以便訓練更好的模型。實踐已經證明，縱向聯邦學習可以顯著提升深度學習模型的性能。

相關技術中的兩方縱向聯邦神經網絡訓練技術方案里，通常使用基于Paillier的同態加密方案來保護參與方的數據隱私信息，或者類似Paillier算法的使用模冪和模逆運算的加密方案來保護參與方的數據隱私信息。

但是，基于Paillier算法同態加密方案的加密和解密過程都需要用到大量的模冪和模逆運算，其計算復雜度非常高，計算量過大，耗時過長，不適用于實際應用場景里縱向聯邦神經網絡模型訓練和模型推理服務。

發明內容

本申請實施例提供一種聯邦神經網絡模型的訓練方法、裝置、設備及存儲介質，涉及人工智能技術領域和云技術領域。由于在對聯邦神經網絡模型進行訓練的過程中，是基于RIAC加密方式對交互層模型參數進行加密，如此，通過加密后所得到的加密模型參數進行模型訓練時，能夠極大的降低計算復雜度，減小計算量，降低耗時。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種聯邦神經網絡模型的訓練方法，所述聯邦神經網絡模型至少包括第一參與方的第一下層模型、交互層和第二參與方的上層模型；所述方法包括：將樣本數據輸入至所述聯邦神經網絡模型中，以通過所述第一下層模型對所述樣本數據進行處理，得到下層模型輸出值；將所述下層模型輸出值、所述第一參與方生成的交互層模型參數、和基于RIAC加密方式對所述交互層模型參數進行加密后所得到的加密模型參數，分別輸入至所述交互層，以通過所述交互層，對所述下層模型輸出值、所述交互層模型參數和所述加密模型參數，依次進行向量變換處理和激活處理，得到所述交互層的輸出向量；將所述輸出向量輸入至所述上層模型中，以通過所述上層模型對所述輸出向量進行前向計算，得到所述聯邦神經網絡模型的輸出值；將所述輸出值輸入至預設損失函數中，得到損失結果；根據所述損失結果對所述聯邦神經網絡模型進行反向傳播處理，以更新所述交互層模型參數，完成對所述聯邦神經網絡模型的訓練。