[發明專利]聯邦學習建模優化方法、設備、介質及計算機程序產品

在審

• 申請號: 202110287309.3
• 申請日: 2021-03-17
• 公開（公告）號: CN112926073A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 譚明超;馬國強;范濤;陳天健;楊強
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06F21/64;G06N20/00
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 劉瑞花

1.一種聯邦學習建模優化方法，其特征在于，所述聯邦學習建模優化方法應用于第一設備，所述聯邦學習建模優化方法包括：

獲取待訓練本地模型對應的本地模型預測值，并基于預設第一隨機數和預設第二隨機數，分別對所述本地模型預測值進行加密，獲得第一隨機數加密值和第二隨機數加密值；

將所述第一隨機數加密值和所述第二隨機數加密值發送至第二設備，以供所述第二設備基于所述第一隨機數加密值和所述第二隨機數加密值以及本地樣本標簽，生成各隨機數加密中間參數；

接收所述第二設備發送的各隨機數加密中間參數，并基于各所述隨機數加密中間參數，生成加密模型梯度和加密模型損失；

基于所述加密模型損失和所述加密模型梯度，優化所述待訓練本地模型，獲得目標聯邦模型。

2.如權利要求1所述聯邦學習建模優化方法，其特征在于，所述基于各所述加密中間參數，生成加密模型梯度和加密模型損失的步驟包括：

分別對各所述隨機數加密中間參數進行隨機數影響消除，獲得各同態加密參數；

基于各所述同態加密值和所述本地模型預測值對應的本地特征值，生成所述加密模型梯度和所述加密模型損失。

3.如權利要求2所述聯邦學習建模優化方法，其特征在于，所述同態加密參數包括第一同態加密中間參數、第二同態加密中間參數和第三同態加密中間參數，

所述基于各所述同態加密參數和所述本地模型預測值對應的本地特征值，生成所述加密模型梯度和所述加密模型損失的步驟包括：

通過計算所述第一同態加密中間參數與所述本地特征值的乘積，生成所述加密模型梯度；

通過計算所述第二同態加密中間參數和所述第三同態加密中間參數之間的差值，生成所述加密模型損失。

4.如權利要求1所述聯邦學習建模優化方法，其特征在于，所述基于預設第一隨機數和預設第二隨機數，分別對所述本地模型預測值進行加密，獲得第一隨機數加密值和第二隨機數加密值的步驟包括：

基于所述預設第一隨機數和所述本地模型預測值，生成所述第一隨機數加密值；

計算所述本地模型預測值和所述預設第二隨機數之間的同態加密的乘積，獲得所述第二隨機數加密值。

5.如權利要求1所述聯邦學習建模優化方法，其特征在于，所述基于所述加密模型損失和所述加密模型梯度，優化所述待訓練本地模型，獲得目標聯邦模型的步驟包括：

將所述加密模型損失發送至第二設備，以供所述第二設備基于解密后的加密模型損失，生成判斷所述待訓練本地模型是否迭代訓練完畢的目標判斷結果；

接收所述目標判斷結果，若所述目標判斷結果為所述待訓練本地模型收斂，則通過與第二設備進行解密交互，對所述待訓練本地模型的模型參數進行解密，獲得所述目標聯邦模型；

若所述目標判斷結果為所述待訓練本地模型未收斂，則基于所述加密模型梯度，優化所述待訓練本地模型，并返回所述獲取待訓練本地模型對應的本地模型預測值的步驟。

6.一種聯邦學習建模優化方法，其特征在于，所述聯邦學習建模優化方法應用于第二設備，所述聯邦學習建模優化方法包括：

接收第一設備發送的第一隨機數加密值和第二隨機數加密值，其中，所述第一隨機數加密值和所述第二隨機數加密值由第一設備基于預設第一隨機數和預設第二隨機數，分別對待訓練本地模型對應的本地模型預測值進行加密生成；

基于所述第一隨機數加密值和所述第二隨機數加密值以及本地樣本標簽，生成各隨機數加密中間參數；

將各所述隨機數加密中間參數發送至第一設備，以供所述第一設備基于各所述隨機數加密中間參數，生成加密模型梯度和加密模型損失；

與所述第一設備進行模型迭代訓練狀態判斷交互，以供所述第一設備基于所述加密模型梯度和所述加密模型損失，優化待訓練本地模型，獲得目標聯邦模型。