[發明專利]一種聯邦遷移學習模型的訓練、預測方法及裝置

有效

• 申請號: 201910691510.0
• 申請日: 2019-07-29
• 公開（公告）號: CN110399742B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 康焱;劉洋;陳天健
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06N20/00;H04L9/08;H04L29/06
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 鄒雅瑩

1.一種聯邦遷移學習模型的訓練方法，其特征在于，包括：

第一終端獲取參數服務器在第i個訓練周期下發的加密遷移模型；所述加密遷移模型為所述參數服務器根據K個參與方的K個終端在第i-1個訓練周期上傳的K個加密共享模型生成的；所述第一終端為所述K個終端中的任一終端；第1個訓練周期訓練的所述加密共享模型為所述第一終端根據參數服務器下發的初始加密遷移模型及第一數據訓練的；所述初始加密遷移模型為所述參數服務器在第1個訓練周期，根據所述參數服務器的公鑰加密所述參數服務器生成的初始遷移模型獲得的，并發送至各終端的；所述第一數據為所述第一終端的訓練數據；i，K為正整數；i大于1；

所述第一終端根據所述參數服務器在第i個訓練周期下發的加密遷移模型更新所述第一終端的第一本地神經網絡模型中的加密共享模型，并根據所述第一數據訓練更新所述第一本地神經網絡模型，從而得到在第i個訓練周期訓練的所述第一本地神經網絡模型中的加密共享模型；

所述第一終端將所述加密共享模型上傳到所述參數服務器。

2.如權利要求1所述的方法，其特征在于，所述第一終端根據所述加密遷移模型，更新所述第一終端的第一本地神經網絡模型的第一加密共享模型，包括：

所述第一終端根據所述加密遷移模型，及所述加密遷移模型在所述第一本地神經網絡模型中的權重，更新所述第一終端的第一本地神經網絡模型的第一加密共享模型。

3.如權利要求2所述的方法，其特征在于，所述第一加密共享模型包括N層特征提取層；N為正整數；所述第一終端根據所述加密遷移模型，及所述加密遷移模型在所述第一本地神經網絡模型中的權重，更新所述第一終端的第一本地神經網絡模型的第一加密共享模型，包括：

針對所述第一加密共享模型中的N層特征提取層的第l層，執行：

所述第一終端根據所述加密遷移模型的第l層的模型參數，及所述加密遷移模型在第一加密共享模型的第l層的第一權重，更新所述第一加密共享模型的第l層的模型參數；所述第l層的第一權重為所述第一終端根據所述第一本地神經網絡模型的預測類型確定的；l小于或等于N；l為正整數。

4.如權利要求1所述的方法，其特征在于，所述第一本地神經網絡模型還包括第一私有模型；所述第一私有模型為根據所述第一本地神經網絡模型的預測類型確定的。

5.如權利要求4所述的方法，其特征在于，所述加密共享模型的特征提取層靠近所述第一本地神經網絡模型的輸入層；所述第一私有模型的特征提取層靠近所述第一本地神經網絡模型的輸出層。

6.一種聯邦遷移學習模型的訓練方法，其特征在于，所述方法包括：

參數服務器獲取K個終端在第i-1個訓練周期上傳的K個加密共享模型；第1個訓練周期訓練的所述K個加密共享模型為所述K個終端根據初始加密遷移模型及各終端各自的訓練數據訓練的；所述初始加密遷移模型為所述參數服務器在第1個訓練周期，根據所述參數服務器的公鑰加密所述參數服務器生成的初始遷移模型獲得的，并發送至各終端的；

所述參數服務器根據所述K個終端在第i-1個訓練周期上傳的加密共享模型生成第i個訓練周期的加密遷移模型；

所述參數服務器將所述第i個訓練周期的加密遷移模型下發至各終端，以使各終端根據所述加密遷移模型，更新各終端的本地神經網絡模型中的加密共享模型，并根據各終端各自的訓練數據訓練更新后的所述本地神經網絡模型，從而得到在第i個訓練周期訓練的所述本地神經網絡模型中的加密共享模型。

7.如權利要求6所述的方法，其特征在于，所述方法還包括：

所述參數服務器獲取所述K個終端在第i-1個訓練周期上傳的加密損失值；

所述參數服務器根據所述K個終端在第i-1個訓練周期上傳的加密共享模型生成第i個訓練周期的加密遷移模型之前，還包括：

所述參數服務器根據所述K個終端在第i-1個訓練周期上傳的K個加密損失值確定是否結束訓練。