[發(fā)明專利]聯(lián)邦學(xué)習(xí)方法、裝置、計算設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110726072.4
• 申請日: 2021-06-29
• 公開（公告）號: CN113177645B
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計）人: 程勇;蔣杰;劉煜宏;陳鵬;陶陽宇
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 張所明

1.一種聯(lián)邦學(xué)習(xí)方法，其特征在于，應(yīng)用于模型訓(xùn)練系統(tǒng)，所述模型訓(xùn)練系統(tǒng)包括第一計算設(shè)備和多個第二計算設(shè)備，所述方法包括：

在所述第二計算設(shè)備包括n個計算單元的情況下，所述第二計算設(shè)備將樣本數(shù)據(jù)劃分為n個樣本數(shù)據(jù)集合，每個樣本數(shù)據(jù)集合包括至少一個樣本數(shù)據(jù)，所述n為大于1的整數(shù)；

所述第二計算設(shè)備將所述n個樣本數(shù)據(jù)集合分配給所述n個計算單元；

所述第二計算設(shè)備通過本端的多個計算單元組中的每個計算單元，基于所述計算單元分配到的樣本數(shù)據(jù)集合，并行訓(xùn)練聯(lián)邦學(xué)習(xí)模型，每個計算單元組包括至少一個計算單元；

所述第二計算設(shè)備響應(yīng)于本端的目標(biāo)計算單元組得到所述聯(lián)邦學(xué)習(xí)模型的本地更新信息，向所述第一計算設(shè)備發(fā)送所述目標(biāo)計算單元組的本地更新信息，所述本地更新信息用于更新所述聯(lián)邦學(xué)習(xí)模型，所述目標(biāo)計算單元組為所述多個計算單元組中的任一個計算單元組；

所述第一計算設(shè)備接收至少一個第二計算設(shè)備發(fā)送的本地更新信息，根據(jù)接收到的本地更新信息，確定全局更新信息，向至少一個第二計算設(shè)備發(fā)送所述全局更新信息；

所述第二計算設(shè)備接收所述全局更新信息，根據(jù)所述全局更新信息，更新本端的聯(lián)邦學(xué)習(xí)模型；

其中，所述第二計算設(shè)備通過本端的多個計算單元組中的每個計算單元，基于所述計算單元分配到的樣本數(shù)據(jù)集合，并行訓(xùn)練聯(lián)邦學(xué)習(xí)模型，包括：

所述第二計算設(shè)備在所述n個計算單元中，確定至少一個目標(biāo)計算單元；

所述第二計算設(shè)備將所述目標(biāo)計算單元分配到的樣本數(shù)據(jù)集合進(jìn)行拆分，得到多個樣本數(shù)據(jù)組，每個樣本數(shù)據(jù)組包括至少一個樣本數(shù)據(jù)；

所述第二計算設(shè)備通過所述目標(biāo)計算單元，基于所述多個樣本數(shù)據(jù)組中的每個樣本數(shù)據(jù)組，分別對所述聯(lián)邦學(xué)習(xí)模型進(jìn)行迭代訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第二計算設(shè)備響應(yīng)于本端的目標(biāo)計算單元組得到所述聯(lián)邦學(xué)習(xí)模型的本地更新信息，向所述第一計算設(shè)備發(fā)送所述目標(biāo)計算單元組的本地更新信息，包括：

在所述目標(biāo)計算單元組包括多個計算單元的情況下，所述第二計算設(shè)備響應(yīng)于所述目標(biāo)計算單元組中的每個計算單元得到所述聯(lián)邦學(xué)習(xí)模型的本地更新信息，向所述第一計算設(shè)備發(fā)送所述目標(biāo)計算單元組中的每個計算單元的本地更新信息。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第二計算設(shè)備響應(yīng)于本端的目標(biāo)計算單元組得到所述聯(lián)邦學(xué)習(xí)模型的本地更新信息，向所述第一計算設(shè)備發(fā)送所述目標(biāo)計算單元組的本地更新信息，包括：

在所述目標(biāo)計算單元組包括多個計算單元的情況下，所述第二計算設(shè)備響應(yīng)于所述目標(biāo)計算單元組中的每個計算單元得到所述聯(lián)邦學(xué)習(xí)模型的本地更新信息，對所述目標(biāo)計算單元組中的每個計算單元的本地更新信息進(jìn)行融合，得到融合更新信息；

向所述第一計算設(shè)備發(fā)送所述融合更新信息。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一計算設(shè)備接收至少一個第二計算設(shè)備發(fā)送的本地更新信息，根據(jù)接收到的本地更新信息，確定全局更新信息，向至少一個第二計算設(shè)備發(fā)送所述全局更新信息，包括：

所述第一計算設(shè)備接收目標(biāo)數(shù)量的第二計算設(shè)備發(fā)送的本地更新信息，根據(jù)接收到的本地更新信息，確定所述全局更新信息；

所述第一計算設(shè)備向每個第二計算設(shè)備發(fā)送所述全局更新信息。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一計算設(shè)備接收至少一個第二計算設(shè)備發(fā)送的本地更新信息，根據(jù)接收到的本地更新信息，確定全局更新信息，向至少一個第二計算設(shè)備發(fā)送所述全局更新信息，包括：

所述第一計算設(shè)備接收目標(biāo)數(shù)量的第二計算設(shè)備發(fā)送的本地更新信息，確定迭代輪次之差，所述迭代輪次之差為各個第二計算設(shè)備中最大的已迭代輪次與最小的已迭代輪次之差；

所述第一計算設(shè)備在所述迭代輪次之差不大于目標(biāo)閾值的情況下，根據(jù)接收到的本地更新信息，確定所述全局更新信息；

所述第一計算設(shè)備向至少一個第二計算設(shè)備發(fā)送所述全局更新信息。