[發明專利]模型的訓練方法、裝置和服務器

有效

• 申請號: 202110472698.7
• 申請日: 2021-04-29
• 公開（公告）號: CN113255928B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 周亞順;王華忠;尹棟
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/08;G06F21/62;G06F21/60;H04L9/40
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 童磊;周達

本說明書提供了模型的訓練方法、裝置和服務器。在一些實施例中，在合作聯合訓練目標模型的過程中，進行當前輪當前批的數據處理時，可以先檢測當前輪當前批的數據處理是否滿足預設的觸發條件；在確定滿足預設的觸發條件時，根據預設協議，第三數據方不需要生成新的隨機矩陣，而是利用本地存儲的隨機矩陣集中的已有矩陣，來生成第一隨機向量、第二隨機向量和第三隨機向量，并進行分發；第二數據方可以利用本地存儲的中間矩陣集，計算得到處理結果秘密的第二分片；第一數據方不需要再另外生成并向第二數據方發送中間矩陣，而是利用本地存儲的隨機矩陣集，計算得到處理結果秘密的第一分片。從而可以減少模型訓練時所涉及的數據計算量和數據傳輸量。

技術領域

本說明書屬于涉及數據隱私的人工智能技術領域，尤其涉及模型的訓練方法、裝置和服務器。

背景技術

在一些基于隱私保護的模型聯合訓練場景中，對于某些訓練階段往往需要進行多輪(對應多個epoch)多批(對應多個batch)的數據處理。并且，在每一輪中的每一批的數據處理中通常又需要參與方合作重新生成并傳輸新的隨機數據(例如，隨機矩陣、隨機向量等)。

但是，在許多情況下，上述隨機數據中存在一部分數據的數據量相對比較大，導致生成以及傳輸上述隨機數據的過程會涉及到較大的數據計算量和較大的數據傳輸量，進而影響了模型整體訓練效率。

因此，亟需一種能夠有效地減少基于隱私保護的聯合訓練模型的過程中所涉及到的數據計算量和數據傳輸量的模型的訓練方法。

發明內容

本說明書提供了一種模型的訓練方法、裝置和服務器，以有效地減少基于隱私保護的聯合訓練模型的過程中所涉及到的數據計算量和數據傳輸量，提高模型訓練效率。

本說明書提供的一種模型的訓練方法、裝置和服務器是這樣實現的：

一種模型的訓練方法，應用于第一數據方，包括：響應針對目標數據處理的當前輪當前批的數據處理請求，檢測當前輪當前批的數據處理是否滿足預設的觸發條件；在確定當前輪當前批的數據處理滿足預設的觸發條件的情況下，確定當前批的批標識作為目標批標識；并根據目標批標識，從本地存儲的隨機矩陣集中確定出匹配的目標隨機矩陣；根據預設協議，利用所述目標隨機矩陣，與第二數據方、第三數據方合作，計算得到針對目標數據處理的當前輪當前批的處理結果秘密的第一分片；其中，所述第二數據方根據預設協議，利用本地存儲的中間矩陣集，與第一數據方、第三數據方合作，計算得到處理結果秘密的第二分片；所述處理結果秘密的第一分片和處理結果秘密的第二分片用于目標模型的聯合訓練。

一種模型的訓練方法，應用于第三數據方，包括：響應針對目標數據處理的當前輪當前批的數據處理請求，檢測當前輪當前批的數據處理是否滿足預設的觸發條件；在確定當前輪當前批的數據處理滿足預設的觸發條件的情況下，確定當前批的批標識作為目標批標識；并根據目標批標識，從本地存儲的隨機矩陣集中確定出匹配的目標隨機矩陣；根據預設協議，利用所述目標隨機矩陣，與第一數據方、第二數據方合作，以進行目標模型的聯合訓練。

一種模型的訓練方法，應用于第二數據方，包括：響應針對目標數據處理的當前輪當前批的數據處理請求，檢測當前輪當前批的數據處理是否滿足預設的觸發條件；在確定當前輪當前批的數據處理滿足預設的觸發條件的情況下，確定當前批的批標識作為目標批標識；并根據目標批標識，從本地存儲的中間矩陣集中確定出匹配的目標中間矩陣；根據預設協議，利用所述目標中間矩陣，與第一數據方、第三數據方合作，計算得到針對目標數據處理的當前輪當前批的處理結果秘密的第二分片；其中，所述第一數據方根據預設協議，利用本地存儲的隨機矩陣集，與第二數據方、第三數據方合作，計算得到處理結果秘密的第一分片；所述處理結果秘密的第一分片和處理結果秘密的第二分片用于目標模型的聯合訓練。