[發明專利]一種基于分布式數據的模型訓練方法及系統

有效

• 申請號: 202010586338.5
• 申請日: 2020-06-24
• 公開（公告）號: CN111475853B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 于亭義;傅欣藝
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/00
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

1.一種基于分布式數據的模型訓練方法，應用于包括至少3個終端的系統，每個終端中存儲有特征相同的數據樣本、以及針對數據樣本構建的模型；系統中的終端被劃分為至少3個終端集群，針對每個集群，將該集群中任一終端確定為集群中心；所述方法包括，通過以下步驟完成模型訓練的每輪迭代：

針對每個集群中心，在其他集群中心沒有將該集群中心都確定為目標集群中心、并且沒有連續確定同一個集群中心作為目標集群中心的情況下，從其他集群中心中確定本輪迭代的至少一個目標集群中心；其中，每輪迭代所確定的目標集群中心具有隨機性；

每個集群中心獲得本集群當前的綜合模型脫敏特征，并將該綜合模型脫敏特征發送到目標集群中心；所述綜合模型脫敏特征，是對本集群中每個終端當前的模型進行脫敏處理后獲得的；

每個集群中心根據本集群的綜合模型脫敏特征、以及接收到的其他集群的綜合模型脫敏特征，對本集群中每個終端的模型進行更新。

2.根據權利要求1所述的方法，所述系統中的終端被劃分為至少3個終端集群，包括：

每輪迭代中，系統中的終端被重新劃分為至少3個終端集群；其中，每輪迭代所劃分的集群具有隨機性。

3.根據權利要求1所述的方法，所述針對每個集群，將該集群中任一終端確定為集群中心，包括：

每輪迭代中，針對每個集群，重新將該集群中任一終端確定為集群中心；其中，每輪迭代所確定的集群中心具有隨機性。

4.根據權利要求1所述的方法，所述針對每個集群中心，在其他集群中心沒有將該集群中心都確定為目標集群中心、并且沒有連續確定同一個集群中心作為目標集群中心的情況下，從其他集群中心中確定本輪迭代的至少一個目標集群中心，包括：

由每個集群中心，在其他集群中心沒有將該集群中心都確定為目標集群中心、并且沒有連續確定同一個集群中心作為目標集群中心的情況下，從其他集群中心中各自獨立確定本輪迭代的至少一個目標集群中心；

或者

所述系統中還包括服務端，且由系統中的服務端，分別針對每個集群中心，在其他集群中心沒有將該集群中心都確定為目標集群中心、并且沒有連續確定同一個集群中心作為目標集群中心的情況下，從其他集群中心中確定本輪迭代的至少一個目標集群中心。

5.根據權利要求1所述的方法，所述綜合模型脫敏特征的獲取方法，包括：

將本集群中每個終端的模型脫敏特征添加到一個集合中，將該集合作為綜合模型脫敏特征；

或者

基于預設的算法，根據本集群中每個終端的模型脫敏特征計算得到一個模型脫敏特征，將計算得到的模型脫敏特征作為綜合模型脫敏特征。

6.根據權利要求1所述的方法，所述模型脫敏特征為模型目標函數的梯度。

7.根據權利要求6所述的方法，所述終端當前的模型脫敏特征的確定方法，包括：

終端根據本地數據樣本確定當前本地模型的目標函數的梯度為終端當前的模型脫敏特征。

8.根據權利要求6所述的方法，所述根據本集群的綜合模型脫敏特征、以及接收到的其他集群的綜合模型脫敏特征，對本集群中每個終端的模型進行更新，包括：

根據本集群的綜合梯度、以及接收到的其他集群的綜合梯度，基于預設的算法確定一個梯度，并根據所確定的梯度對本集群中每個終端的模型進行更新。

9.根據權利要求1所述的方法，所述模型脫敏特征為模型參數集。

10.根據權利要求9所述的方法，所述終端當前的模型脫敏特征的確定方法，包括：

終端根據本地數據樣本訓練模型，將訓練后的模型參數集作為終端當前的模型脫敏特征。