[發(fā)明專利]一種基于分布式數(shù)據(jù)的模型訓(xùn)練方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010586338.5
• 申請(qǐng)日: 2020-06-24
• 公開（公告）號(hào): CN111475853B
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計(jì)）人: 于亭義;傅欣藝
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06F21/62
• 分類號(hào): G06F21/62;G06N20/00
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 周嗣勇

1.一種基于分布式數(shù)據(jù)的模型訓(xùn)練方法，應(yīng)用于包括至少3個(gè)終端的系統(tǒng)，每個(gè)終端中存儲(chǔ)有特征相同的數(shù)據(jù)樣本、以及針對(duì)數(shù)據(jù)樣本構(gòu)建的模型；系統(tǒng)中的終端被劃分為至少3個(gè)終端集群，針對(duì)每個(gè)集群，將該集群中任一終端確定為集群中心；所述方法包括，通過以下步驟完成模型訓(xùn)練的每輪迭代：

針對(duì)每個(gè)集群中心，在其他集群中心沒有將該集群中心都確定為目標(biāo)集群中心、并且沒有連續(xù)確定同一個(gè)集群中心作為目標(biāo)集群中心的情況下，從其他集群中心中確定本輪迭代的至少一個(gè)目標(biāo)集群中心；其中，每輪迭代所確定的目標(biāo)集群中心具有隨機(jī)性；

每個(gè)集群中心獲得本集群當(dāng)前的綜合模型脫敏特征，并將該綜合模型脫敏特征發(fā)送到目標(biāo)集群中心；所述綜合模型脫敏特征，是對(duì)本集群中每個(gè)終端當(dāng)前的模型進(jìn)行脫敏處理后獲得的；

每個(gè)集群中心根據(jù)本集群的綜合模型脫敏特征、以及接收到的其他集群的綜合模型脫敏特征，對(duì)本集群中每個(gè)終端的模型進(jìn)行更新。

2.根據(jù)權(quán)利要求1所述的方法，所述系統(tǒng)中的終端被劃分為至少3個(gè)終端集群，包括：

每輪迭代中，系統(tǒng)中的終端被重新劃分為至少3個(gè)終端集群；其中，每輪迭代所劃分的集群具有隨機(jī)性。

3.根據(jù)權(quán)利要求1所述的方法，所述針對(duì)每個(gè)集群，將該集群中任一終端確定為集群中心，包括：

每輪迭代中，針對(duì)每個(gè)集群，重新將該集群中任一終端確定為集群中心；其中，每輪迭代所確定的集群中心具有隨機(jī)性。

4.根據(jù)權(quán)利要求1所述的方法，所述針對(duì)每個(gè)集群中心，在其他集群中心沒有將該集群中心都確定為目標(biāo)集群中心、并且沒有連續(xù)確定同一個(gè)集群中心作為目標(biāo)集群中心的情況下，從其他集群中心中確定本輪迭代的至少一個(gè)目標(biāo)集群中心，包括：

由每個(gè)集群中心，在其他集群中心沒有將該集群中心都確定為目標(biāo)集群中心、并且沒有連續(xù)確定同一個(gè)集群中心作為目標(biāo)集群中心的情況下，從其他集群中心中各自獨(dú)立確定本輪迭代的至少一個(gè)目標(biāo)集群中心；

或者

所述系統(tǒng)中還包括服務(wù)端，且由系統(tǒng)中的服務(wù)端，分別針對(duì)每個(gè)集群中心，在其他集群中心沒有將該集群中心都確定為目標(biāo)集群中心、并且沒有連續(xù)確定同一個(gè)集群中心作為目標(biāo)集群中心的情況下，從其他集群中心中確定本輪迭代的至少一個(gè)目標(biāo)集群中心。

5.根據(jù)權(quán)利要求1所述的方法，所述綜合模型脫敏特征的獲取方法，包括：

將本集群中每個(gè)終端的模型脫敏特征添加到一個(gè)集合中，將該集合作為綜合模型脫敏特征；

或者

基于預(yù)設(shè)的算法，根據(jù)本集群中每個(gè)終端的模型脫敏特征計(jì)算得到一個(gè)模型脫敏特征，將計(jì)算得到的模型脫敏特征作為綜合模型脫敏特征。

6.根據(jù)權(quán)利要求1所述的方法，所述模型脫敏特征為模型目標(biāo)函數(shù)的梯度。

7.根據(jù)權(quán)利要求6所述的方法，所述終端當(dāng)前的模型脫敏特征的確定方法，包括：

終端根據(jù)本地?cái)?shù)據(jù)樣本確定當(dāng)前本地模型的目標(biāo)函數(shù)的梯度為終端當(dāng)前的模型脫敏特征。

8.根據(jù)權(quán)利要求6所述的方法，所述根據(jù)本集群的綜合模型脫敏特征、以及接收到的其他集群的綜合模型脫敏特征，對(duì)本集群中每個(gè)終端的模型進(jìn)行更新，包括：

根據(jù)本集群的綜合梯度、以及接收到的其他集群的綜合梯度，基于預(yù)設(shè)的算法確定一個(gè)梯度，并根據(jù)所確定的梯度對(duì)本集群中每個(gè)終端的模型進(jìn)行更新。

9.根據(jù)權(quán)利要求1所述的方法，所述模型脫敏特征為模型參數(shù)集。

10.根據(jù)權(quán)利要求9所述的方法，所述終端當(dāng)前的模型脫敏特征的確定方法，包括：

終端根據(jù)本地?cái)?shù)據(jù)樣本訓(xùn)練模型，將訓(xùn)練后的模型參數(shù)集作為終端當(dāng)前的模型脫敏特征。