[發明專利]模型參數更新方法、裝置、設備、存儲介質及程序產品

在審

• 申請號: 202110287041.3
• 申請日: 2021-03-17
• 公開（公告）號: CN113011603A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 梁新樂;劉洋;陳天健
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06N3/04;G06N3/08
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 張志江

1.一種模型參數更新方法，其特征在于，所述方法應用于參與縱向聯邦學習的第一設備，所述第一設備與參與縱向聯邦學習的第二設備通信連接，所述方法包括以下步驟：

計算近端優化損失，其中，所述近端優化損失表征所述第一設備中第一模型的參數在本輪本地迭代中的參數值相比于在預設歷史輪次的本地迭代中參數值的變化量；

基于所述近端優化損失、所述第一模型在本輪本地迭代中的模型輸出以及從所述第二設備接收到的縱向聯邦中間結果，計算得到所述參數對應的梯度值；

采用所述梯度值更新所述參數，以完成本輪本地迭代。

2.如權利要求1所述的模型參數更新方法，其特征在于，所述計算近端優化損失，其中，所述近端優化損失表征所述第一設備中第一模型的參數在本輪本地迭代中的參數值相比于在預設歷史輪次的本地迭代中參數值的變化量的步驟包括：

將所述第一設備中第一模型的參數在本輪本地迭代中的參數向量與在預設歷史輪次的本地迭代中的參數向量進行對應元素相減，得到差向量；

計算所述差向量中各元素的平方和，基于所述平方和得到所述近端優化損失。

3.如權利要求1至2任一項所述的模型參數更新方法，其特征在于，當所述第一設備為擁有標簽數據的參與方時，所述縱向聯邦中間結果為所述第二設備中模型的輸出，

所述基于所述近端優化損失、所述第一模型在本輪本地迭代中的模型輸出以及從所述第二設備接收到的縱向聯邦中間結果，計算得到所述參數對應的梯度值的步驟包括：

將所述第一設備的訓練數據輸入所述第一設備中的第一模型進行處理，得到所述第一模型在本輪本地迭代中的模型輸出；

根據所述模型輸出和所述縱向聯邦中間結果計算得到預測結果，并基于所述預測結果和所述訓練數據對應的標簽數據計算得到預測損失；

將所述預測損失和所述近端優化損失相加得到總損失，基于所述總損失計算得到所述參數對應的梯度值。

4.如權利要求1至2任一項所述的模型參數更新方法，其特征在于，當所述第二設備為擁有標簽數據的參與方時，所述縱向聯邦中間結果為所述第二設備中預測損失相對于所述第一設備在本輪聯合參數更新時發送的第一模型的輸出的梯度值，

所述基于所述近端優化損失、所述模型在本輪本地迭代中的模型輸出以及從所述第二設備接收到的縱向聯邦中間結果，計算得到所述參數對應的梯度值的步驟包括：

將所述第一設備的訓練數據輸入所述第一設備的第一模型進行處理，得到所述第一模型在本輪本地迭代中的模型輸出；

根據所述模型輸出和所述縱向聯邦中間結果計算得到所述預測損失相對于所述參數的第一子梯度值；

計算所述近端優化損失相對于所述參數的第二子梯度值，將所述第一子梯度值和所述第二子梯度值相加得到所述參數對應的梯度值。

5.如權利要求4所述的模型參數更新方法，其特征在于，所述將所述第一子梯度值和所述第二子梯度值相加得到所述參數對應的梯度值的步驟包括：

將所述第二子梯度值乘以預設調節系數后加上所述第一子梯度值得到所述參數對應的梯度值。

6.一種用戶風險預測方法，其特征在于，所述方法應用于參與縱向聯邦學習的第一設備，所述第一設備與參與縱向聯邦學習的第二設備通信連接，所述方法包括以下步驟：

基于近端優化損失與所述第二設備聯合進行縱向聯邦學習得到本端風險預測模型，其中，所述近端優化損失表征本端待訓練模型的參數在當次本地迭代中的參數值相比于在預設歷史輪次的本地迭代中參數值的變化量；

采用所述本端風險預測模型預測得到待預測用戶的風險值。