[發明專利]聯邦模型的訓練方法、裝置和電子設備

在審

• 申請號: 202110839499.5
• 申請日: 2021-07-23
• 公開（公告）號: CN113592097A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 馮澤瑾;楊愷;陳忠;范昊;陳曉霖;王虎;黃志翔;彭南博
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張夢瑤

本申請提出一種聯邦模型的訓練方法、裝置和電子設備，方法包括：基于樣本標簽信息和樣本特征信息，協同數據方進行聯邦模型的訓練，以獲取中間結果，中間結果包括每個樣本對應的損失函數的一階導數和二階導數；對樣本的一階導數和二階導數進行聯合加密，以得到樣本對應的加密導數；將加密導數發送至數據方，加密導數用于生成加密導數聚合值；接收數據方發送的加密導數聚合值，并根據加密導數聚合值進一步更新聯邦模型的參數。由此，該方法對樣本的一階導數和二階導數進行聯合加密，能夠減少中間結果的加密次數，從而降低建模過程的計算復雜度，還可減少中間結果的傳輸次數，有效減輕了建模過程的通訊負擔，提高了聯邦模型的訓練效率。

技術領域

本申請涉及深度學習技術領域，尤其涉及一種聯邦模型的訓練方法、裝置、電子設備和存儲介質。

背景技術

目前，聯邦學習可在不需要數據共享的前提下實現聯邦建模和聯邦訓練，數據安全性較高，還可解決數據孤島問題，得到了廣泛應用。相關技術中的聯邦模型訓練過程中，將模型訓練的中間結果進行加密傳輸，加密次數和傳輸次數較多，建模過程的計算復雜度和通訊負擔較大，聯邦模型的訓練效率較低。

發明內容

本申請旨在至少在一定程度上解決相關技術中聯邦模型訓練過程中，訓練過程的計算復雜度和通訊負擔較大，聯邦模型的訓練效率較低的技術問題之一。

為此，本申請第一方面實施例提出一種聯邦模型的訓練方法，對樣本的至少一階導數進行聯合加密，能夠減少中間結果的加密次數，從而降低建模過程的計算復雜度，還可減少中間結果的傳輸次數，有效減輕了建模過程的通訊負擔，提高了聯邦模型的訓練效率。

本申請第二方面實施例提出另一種聯邦模型的訓練方法。

本申請第三方面實施例提出一種聯邦模型的訓練裝置。

本申請第四方面實施例提出另一種聯邦模型的訓練裝置。

本申請第五方面實施例提出一種電子設備。

本申請第六方面實施例提出一種計算機可讀存儲介質。

本申請第一方面實施例提出了一種聯邦模型的訓練方法，包括：基于樣本標簽信息和樣本特征信息，協同數據方進行聯邦模型的訓練，以獲取聯邦模型的中間結果，其中，所述聯邦模型的中間結果包括每個所述樣本對應的損失函數的一階導數和二階導數；對所述樣本的一階導數和二階導數進行聯合加密，以得到所述樣本對應的加密導數；將所述樣本對應的加密導數發送至數據方，其中，所述樣本對應的加密導數用于生成加密導數聚合值；接收所述數據方發送的加密導數聚合值，并根據所述加密導數聚合值進一步更新所述聯邦模型的參數。

本申請實施例的聯邦模型的訓練方法，能夠對樣本的一階導數和二階導數進行聯合加密，以得到樣本對應的加密導數，并將樣本對應的加密導數發送至數據方，還可接收數據方發送的加密導數聚合值，并根據加密導數聚合值進一步更新聯邦模型的參數。由此，對樣本的一階導數和二階導數進行聯合加密，能夠減少中間結果的加密次數，從而降低建模過程的計算復雜度，還可減少中間結果的傳輸次數，有效減輕了建模過程的通訊負擔，提高了聯邦模型的訓練效率。

另外，根據本申請上述實施例的聯邦模型的訓練方法還可以具有如下附加的技術特征：

在本申請的一個實施例中，所述對所述樣本的一階導數和二階導數進行聯合加密，以得到所述樣本對應的加密導數，包括：對所述樣本的所述一階導數和所述二階導數分別進行編碼；將編碼后的所述一階導數和所述二階導數進行拼接，得到所述樣本對應的拼接導數；對所述樣本對應的拼接導數進行加密，以得到所述樣本對應的加密導數。