[發明專利]一種基于聯邦遷移學習的模型訓練方法及計算節點

有效

• 申請號: 202110350001.9
• 申請日: 2021-03-31
• 公開（公告）號: CN113159283B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 詹德川;施意;李新春;宋紹銘;邵云峰;李秉帥;錢莉
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/096
• 分類號: G06N3/096;G06N3/045;G06N3/084;G06N20/20
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種基于聯邦遷移學習的模型訓練方法，其特征在于，包括：

在第一計算節點上的第一模型參數值和第二模型參數值保持不變的情況下，所述第一計算節點采用所述第一計算節點上的第一數據集訓練所述第一計算節點上的第三模型，以得到所述第一計算節點上的第三模型參數值，所述第一模型參數值、所述第二模型參數值、所述第三模型參數值分別為所述第一計算節點上的第一模型、第二模型、第三模型的模型參數取值，其中，所述第一模型用于對輸入數據進行特征提取，所述第二模型用于基于所述第一模型提取出的特征執行目標任務，所述第三模型用于鑒別由所述第一模型提取出的特征的源域；

所述第一計算節點接收第一聚合參數值，所述第一聚合參數值基于所述第三模型參數值以及第四模型參數值得到，所述第四模型參數值為第二計算節點上的第三模型的模型參數取值，所述第二計算節點上的第三模型由所述第二計算節點采用所述第二計算節點上的第二數據集訓練得到；

所述第一計算節點將所述第三模型參數值更新為所述第一聚合參數值，并在保持所述第三模型參數值為所述第一聚合參數值不變的情況下，采用所述第一數據集對所述第一計算節點上的第一模型和第二模型再進行訓練，并更新所述第一模型參數值和所述第二模型參數值。

2.根據權利要求1所述的方法，其特征在于，所述第一計算節點接收第一聚合參數值，所述第一聚合參數值基于所述第三模型參數值以及第四模型參數值得到包括：

所述第一計算節點將所述第三模型參數值向所述第二計算節點發送，以使得所述第二計算節點將所述第三模型參數值和所述第四模型參數值進行聚合，以得到所述第一聚合參數值；

所述第一計算節點接收來自所述第二計算節點的所述第一聚合參數值。

3.根據權利要求1-2中任一項所述的方法，其特征在于，所述方法還包括：

所述第一計算節點將更新得到的第一模型參數值和更新得到的第二模型參數值向所述第二計算節點發送。

4.根據權利要求1所述的方法，其特征在于，所述第一計算節點接收第一聚合參數值，所述第一聚合參數值基于所述第三模型參數值以及第四模型參數值得到包括：

所述第一計算節點將所述第三模型參數值向第三計算節點發送，以使得所述第三計算節點將所述第三模型參數值以及來自所述第二計算節點的所述第四模型參數值進行聚合，以得到所述第一聚合參數值；

所述第一計算節點接收來自所述第三計算節點的所述第一聚合參數值。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

所述第一計算節點將更新得到的第一模型參數值和更新得到的第二模型參數值向所述第三計算節點發送。

6.一種基于聯邦遷移學習的模型訓練方法，其特征在于，包括：

第二計算節點獲取第二聚合參數值，所述第二聚合參數值基于一個或多個第一計算節點上各自訓練后的第一模型的第一模型參數值得到，其中，每個第一計算節點上的第一模型由所述第一計算節點采用所述第一計算節點的第一數據集進行訓練，所述第一模型用于對輸入數據進行特征提取；

在所述第二計算節點上的第一模型的模型參數取值為所述第二聚合參數值的情況下，所述第二計算節點采用所述第二計算節點上的第二數據集對所述第二計算節點上的第三模型進行訓練，以得到所述第二計算節點上的第三模型的第四模型參數值，其中，所述第三模型用于鑒別由所述第一模型提取出的特征的源域。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

所述第二計算節點獲取第一聚合參數值，所述第一聚合參數值基于第三模型參數值以及所述第四模型參數值得到，所述第三模型參數值為所述第一計算節點采用所述第一數據集對所述第一計算節點上的第三模型進行訓練得到的模型參數取值；

所述第二計算節點將所述第四模型參數值更新為所述第一聚合參數值，并在保持所述第四模型參數值為所述第一聚合參數值不變的情況下，采用所述第二數據集對所述第二計算節點上的第一模型、第二模型進行訓練，并更新所述第二計算節點上的第一模型的模型參數值和所述第二計算節點上的第二模型的模型參數值。