[發明專利]隱私模型訓練的方法

有效

• 申請號: 202110477135.7
• 申請日: 2021-04-29
• 公開（公告）號: CN113094735B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 孔慶磊;尹峰;崔曙光;李文燁
• 申請（專利權）人: 香港中文大學（深圳）
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06F21/64
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 魏宇星

本申請涉及一種隱私模型訓練的方法、裝置、計算機設備和存儲介質。一個實施例的方法包括：基于待訓練模型發布模型訓練任務；接收各用戶終端發送的訓練加入請求，根據各用戶終端的訓練加入請求的請求時間，生成用戶集合發送給各用戶終端；將用戶集合中的用戶劃分用戶分組；在任何一次迭代訓練過程中，接收用戶集合內的各用戶終端發送的攜帶用戶端密文、模型參數密文及訓練迭代次數的模型訓練密文；基于各用戶終端所屬的用戶分組，對各用戶終端的用戶端密文進行密鑰聚合處理，獲得密鑰聚合處理結果；在密鑰聚合處理結果驗證通過時，對各用戶終端的模型參數密文進行模型聚合處理，獲得模型聚合結果。采用本方法能夠提高模型訓練時的安全性和穩定性。

技術領域

本申請涉及計算機技術領域，特別是涉及一種隱私模型訓練的方法、裝置、計算機設備和存儲介質。

背景技術

隨著計算機領域的技術的發展，通過機器學習模型來進行相關處理日益成為計算機技術中的重要內容。在采用機器學習模型進行處理之前，需要提供樣本集，并針對樣本集執行模型訓練過程以獲得最終的機器學習模型。在傳統的模型訓練過程中，都是由某個獨立的設備，例如終端或服務器來完成整個的訓練過程，這種單一訓練方式，容易導致樣本集的數據的泄露，影響數據安全性。為此，出現了分布式學習的技術，其將用以進行訓練的樣本集分布在多個設備上，在每次訓練過程中，由多個設備分別基于自身的數據集進行模型訓練，并將模型訓練的訓練結果發送至訓練服務器，由訓練服務器對各設備的訓練結果進行融合，獲得當次的整體的模型訓練結果，再將單詞模型訓練的結果給到各設備，重復下一次的迭代訓練過程，直至訓練結束。然而，傳統的這種分布式訓練模型的方式，存在安全性問題。

發明內容

基于此，有必要針對上述技術問題，提供一種隱私模型訓練的方法、裝置、計算機設備和存儲介質。

一種隱私模型訓練的方法，所述方法包括：

基于待訓練模型發布模型訓練任務；

接收各用戶終端發送的訓練加入請求，并根據各用戶終端的訓練加入請求的請求時間，生成用戶集合，并將所述用戶集合發送給各所述用戶終端；

將所述用戶集合中的用戶劃分為兩個以上的用戶分組；

在任何一次迭代訓練過程中，接收用戶集合內的各用戶終端發送的模型訓練密文，所述模型訓練密文攜帶用戶端密文、模型參數密文以及訓練迭代次數；

基于各所述用戶終端所屬的用戶分組，對各所述用戶終端的用戶端密文進行密鑰聚合處理，獲得密鑰聚合處理結果；

在所述密鑰聚合處理結果驗證通過時，對各所述用戶終端的模型參數密文進行模型聚合處理，獲得模型聚合結果。

一些實施例中，根據各用戶終端的訓練加入請求的請求時間，生成用戶集合，包括：

根據各用戶終端的訓練加入請求的請求時間，對各用戶終端進行排序；

根據請求時間最早的第二預定數目個用戶終端的用戶，生成用戶集合，所述用戶集合中，包含各所述用戶終端的排序信息。

一些實施例中，獲取所述用戶集合中的第一預定數目的用戶，包括：根據用戶集合中的各用戶的排列順序，依序獲取用戶集合中的第一預定數目的用戶。

一些實施例中，將所述用戶集合中的各用戶，按照預定規則加入對應的用戶分組，獲得劃分后的各用戶分組，還包括：

當最后一個用戶分組中的用戶小于第一預定數目時，按照預定規則從其他用戶分組中分別選取一個用戶加入到所述最后一個用戶分組，直至任意一個用戶分組中都包含第一預定數目個用戶、用戶集合中的任意一個用戶都加入了至少一個用戶分組、且所述用戶集合中的任意一個用戶最多加入兩個用戶分組。

一些實施例中，采用如下公式，對所述第一聚合密文、第二聚合密文、第三聚合密文和所述第四聚合密文進行聚合處理，獲得第一密鑰聚合結果：