[發明專利]縱向聯邦學習系統優化方法、設備及可讀存儲介質

在審

• 申請號: 202010089045.6
• 申請日: 2020-02-12
• 公開（公告）號: CN111340247A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 鄭會鈿;范濤;馬國強;譚明超;陳天健;楊強
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/20
• 分類號: G06N20/20
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

1.一種縱向聯邦學習系統優化方法，其特征在于，應用于參與縱向聯邦學習的第一設備，所述第一設備與第二設備通信連接，所述縱向聯邦學習系統優化方法包括以下步驟：

接收所述第二設備發送的第二設備的加密精簡中間結果，其中，所述第二設備用于對計算得到的第二設備的各條樣本數據對應的原始中間結果進行抽樣處理，得到所述第二設備的部分樣本數據對應的精簡中間結果，并對所述第二設備的精簡中間結果進行加密，得到所述第二設備的加密精簡中間結果；

對所述第二設備的加密精簡中間結果進行數據補齊，得到第二設備的加密補齊中間結果，其中，所述加密補齊中間結果的數據數量與所述原始中間結果的數據數量相同；

利用所述第二設備的加密補齊中間結果計算得到所述第一設備中模型參數對應的加密第一梯度值，并基于所述加密第一梯度值更新所述第一設備的模型參數，循環迭代直到檢測到滿足預設停止條件時，得到訓練完成的第一設備的目標模型參數。

2.如權利要求1所述的縱向聯邦學習系統優化方法，其特征在于，所述對所述第二設備的加密精簡中間結果進行數據補齊獲得加密補齊中間結果的步驟包括：

獲取所述第二設備的抽樣對照表，并基于所述第二設備的抽樣對照表在所述第二設備的加密精簡中間結果中確定填充數據以及所述填充數據對應的填充位置；

在所述第二設備的加密精簡中間結果中，基于所述填充位置插入所述填充數據，得到所述第二設備的加密補齊中間結果。

3.如權利要求1至2中任一項所述的縱向聯邦學習系統優化方法，其特征在于，所述利用所述第二設備的加密補齊中間結果計算得到所述第一設備中模型參數對應的加密第一梯度值的步驟包括：

計算得到用于計算梯度值的第一設備的加密精簡中間結果；

利用所述第二設備的加密補齊中間結果以及所述第一設備的加密精簡中間結果，計算得到第一設備的加密中間結果；

利用所述第一設備的加密中間結果計算得到所述第一設備中模型參數對應的加密第一梯度值。

4.如權利要求3所述的縱向聯邦學習系統優化方法，其特征在于，所述計算得到用于計算梯度值的第一設備的加密精簡中間結果的步驟包括：

所述第一設備對計算得到的第一設備的各條樣本數據對應的原始中間結果進行抽樣處理，得到所述第一設備的部分樣本數據對應的精簡中間結果；

對所述第一設備的精簡中間結果進行加密，得到所述第一設備的加密精簡中間結果。

5.如權利要求3所述的縱向聯邦學習系統優化方法，其特征在于，所述利用所述第二設備的加密補齊中間結果以及所述第一設備的加密精簡中間結果，計算得到第一設備的加密中間結果的步驟包括：

對所述第一設備的加密精簡中間結果進行數據補齊，得到所述第一設備的加密補齊中間結果；

利用所述第一設備的加密補齊中間結果與所述第二設備的加密補齊中間結果，計算得到第一設備的加密中間結果。

6.一種縱向聯邦學習系統優化方法，其特征在于，應用于參與縱向聯邦學習的第二設備，所述縱向聯邦學習系統優化方法包括以下步驟：

對計算得到的第二設備的各條樣本數據對應的原始中間結果進行抽樣處理，得到所述第二設備的部分樣本數據對應的精簡中間結果；

對第二設備的精簡中間結果進行加密，得到所述第二設備的部分樣本數據對應的精簡中間結果并發送至所述第一設備，以供所述第一設備基于所述第二設備的加密精簡中間結果反饋所述第一設備的加密中間結果，其中，所述第一設備用于對接收的所述第二設備的加密精簡中間結果進行數據補齊獲得所述第二設備的加密補齊中間結果，并利用所述第二設備的加密補齊中間結果計算得到所述第一設備的加密中間結果；

利用所述第一設備的加密中間結果計算得到所述第二設備中模型參數對應的加密第二梯度值，并基于所述加密第二梯度值更新所述第二設備的模型參數，循環迭代直到檢測到滿足預設停止條件時，得到訓練完成的第二設備的目標模型參數。