[發(fā)明專(zhuān)利]基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類(lèi)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202310266368.1
• 申請(qǐng)日: 2023-03-16
• 公開(kāi)（公告）號(hào): CN116361669A
• 公開(kāi)（公告）日: 2023-06-30
• 發(fā)明（設(shè)計(jì)）人: 李修明
• 申請(qǐng)（專(zhuān)利權(quán)）人: 翼健（上海）信息科技有限公司;翼方健數(shù)（北京）信息科技有限公司
• 主分類(lèi)號(hào): G06F18/23
• 分類(lèi)號(hào): G06F18/23;G06F18/214;G06N3/08;G06N20/20
• 代理公司: 北京華清迪源知識(shí)產(chǎn)權(quán)代理有限公司 11577
• 代理人: 朱芳

1.一種基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類(lèi)方法，其特征在于，包括多個(gè)參與方和橫向聯(lián)邦學(xué)習(xí)框架中的仲裁方，多個(gè)參與方和橫向聯(lián)邦學(xué)習(xí)框架中的仲裁方均各自持有一份無(wú)標(biāo)簽稀疏數(shù)據(jù)，無(wú)標(biāo)簽稀疏數(shù)據(jù)的數(shù)據(jù)特征相同，樣本不同；

所述方法應(yīng)用于參與方，包括：

生成密鑰，并與其它參與方交換密鑰；

根據(jù)所持有的無(wú)標(biāo)簽稀疏數(shù)據(jù)訓(xùn)練基于深度學(xué)習(xí)的聚類(lèi)模型，得到本地模型；

根據(jù)所述密鑰將所述本地模型的參數(shù)加密后發(fā)送給assist-trainer；所述assist-trainer將所有參與方發(fā)送的模型參數(shù)進(jìn)行聚合平均，得到最終的全局模型。

2.根據(jù)權(quán)利要求1所述的基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類(lèi)方法，其特征在于，所述本地模型的損失函數(shù)L為：

L＝L_ZINB+γL_c

其中，L_ZINB為自編碼器的損失函數(shù)，L_c為聚類(lèi)的損失函數(shù)。

3.根據(jù)權(quán)利要求2所述的基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類(lèi)方法，其特征在于，所述自編碼器的損失函數(shù)L_ZINB為：

L_ZINB＝-log(ZINB(X^count|π，μ，θ))

其中，ZINB(X^count|π，μ，θ)＝πδ₀(X^count)+(1-π)NB(X^count|μ，θ)，

X^count代表樣本數(shù)，π、μ和θ為解碼器最后一個(gè)隱藏層D后連接的三個(gè)全連接層。

4.根據(jù)權(quán)利要求2所述的基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類(lèi)方法，其特征在于，所述聚類(lèi)的損失函數(shù)L_c為：

其中，

5.根據(jù)權(quán)利要求1所述的基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類(lèi)方法，其特征在于，所述仲裁方能夠利用含有標(biāo)簽的數(shù)據(jù)進(jìn)行模型性能評(píng)估，并得到需要標(biāo)簽參與計(jì)算的聚類(lèi)性能指標(biāo)。

6.一種基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類(lèi)裝置，其特征在于，包括多個(gè)參與方和橫向聯(lián)邦學(xué)習(xí)框架中的仲裁方，多個(gè)參與方和橫向聯(lián)邦學(xué)習(xí)框架中的仲裁方均各自持有一份無(wú)標(biāo)簽稀疏數(shù)據(jù)，無(wú)標(biāo)簽稀疏數(shù)據(jù)的數(shù)據(jù)特征相同，樣本不同；

所述裝置用于實(shí)現(xiàn)實(shí)現(xiàn)參與方的執(zhí)行步驟，包括：

密鑰生成模塊，用于生成密鑰；

密鑰交換模塊，用于與其它參與方交換密鑰；

本地模型訓(xùn)練模塊，用于根據(jù)所持有的無(wú)標(biāo)簽稀疏數(shù)據(jù)訓(xùn)練基于深度學(xué)習(xí)的聚類(lèi)模型，得到本地模型；

加密模塊，用于根據(jù)所述密鑰將所述本地模型的參數(shù)加密后發(fā)送給assist-trainer；所述assist-trainer將所有參與方發(fā)送的模型參數(shù)進(jìn)行聚合平均，得到最終的全局模型。

7.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至5中任一項(xiàng)所述的方法的步驟。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至5中任一項(xiàng)所述的方法的步驟。