[發明專利]模型訓練方法和裝置、業務預測方法和裝置

在審

• 申請號: 202210150940.3
• 申請日: 2022-02-18
• 公開（公告）號: CN114676845A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 劉文鑫
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

1.基于聯邦機器學習的模型訓練方法，包括：

利用本地的私有數據訓練公有模型；

將該公有模型上傳給服務器；

接收服務器下發的全局模型；該全局模型由服務器根據至少兩個參與方上傳的公有模型聚合得到；

利用全局模型更新本地的公有模型；

利用本地的私有數據以及更新后的公有模型，訓練私有模型。

2.根據權利要求1所述的方法，其中，

所述接收服務器下發的全局模型包括：在對全局模型的每一輪迭代訓練中，接收服務器下發的本輪全局模型，直至全局模型收斂；

所述利用全局模型更新本地的公有模型，包括：在接收到的全局模型未收斂時，利用本地的私有數據以及接收到的上一輪全局模型進行訓練，得到本輪更新后的公有模型，將本輪更新后的公有模型上傳給服務器；在接收到的全局模型收斂時，將該收斂的全局模型作為更新后的公有模型；

所述利用本地的私有數據以及更新后的公有模型訓練私有模型，包括：在對私有模型的每一輪的迭代訓練中，利用本地的私有數據以及最新更新后的公有模型，訓練私有模型，直至該私有模型收斂。

3.根據權利要求1所述的方法，其中，所述利用本地的私有數據以及更新后的公有模型訓練私有模型，包括：利用本地的私有數據，對更新后的公有模型進行知識蒸餾，以訓練私有模型。

4.根據權利要求3所述的方法，其中，所述私有模型的訓練過程包括：

利用具有第一權重值的第一損失函數以及具有第二權重值的第二損失函數訓練所述私有模型；

通過調整第一權重值和/或第二權重值，控制所述私有模型的訓練方向；

其中，

所述第一損失函數表征：利用第一輸出與第二輸出計算KL散度(Kullback–Leiblerdivergence)；其中，第一輸出是將第一本地私有數據輸入最新更新后的公有模型后得到的；第二輸出是將第一本地私有數據輸入當前訓練的私有模型后得到的；

所述第二損失函數表征：利用第二本地私有數據及對該第二本地私有數據的標簽，計算交叉熵損失。

5.根據權利要求4所述的方法，其中，所述通過調整第一權重值和/或第二權重值控制所述私有模型的訓練方向，包括：

判斷當前參與聯邦機器學習模型的參與方是否存在攻擊行為，如果是，則減小所述第一權重值和/或增大所述第二權重值。

6.根據權利要求5所述的方法，其中，所述判斷當前參與聯邦機器學習模型的參與方是否存在攻擊行為，包括如下中的至少一項：

判斷是否接收到服務器發來的風險通知，如果是，則確定當前參與聯邦機器學習模型的參與方存在攻擊行為；

在對全局模型的每一輪的迭代訓練中，將本輪全局模型與上一輪全局模型進行比較，如果兩輪全局模型的差別大于預設的差別要求，則確定當前參與聯邦機器學習模型的參與方存在攻擊行為；

判斷本地是否存在惡意APP利用與服務器的多次交互，計算在訓練全局模型中數據的重要性規則，并依據該重要性規則增加在訓練公有模型時使用的第一類型的本地數據的數量。

7.業務預測方法，包括：

得到待預測的業務數據；

將待預測的業務數據輸入本地的私有模型中，得到該私有模型輸出的預測結果；其中，所述私有模型是利用權利要求1至6中任一所述的方法訓練出的。

8.基于聯邦機器學習的模型訓練裝置，包括：

公有模型處理模塊，配置為利用本地的私有數據訓練公有模型；以及利用全局模型更新本地的公有模型；

全局模型交互模塊，配置為將最新得到的公有模型上傳給服務器；接收服務器下發的全局模型；該全局模型由服務器根據至少兩個參與方上傳的公有模型聚合得到；

私有模型處理模塊，利用本地的私有數據以及更新后的公有模型，訓練私有模型。