[發(fā)明專利]基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202310266368.1
• 申請(qǐng)日: 2023-03-16
• 公開（公告）號(hào): CN116361669A
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計(jì)）人: 李修明
• 申請(qǐng)（專利權(quán)）人: 翼?。ㄉ虾＃┬畔⒖萍加邢薰?/a>;翼方健數(shù)（北京）信息科技有限公司
• 主分類號(hào): G06F18/23
• 分類號(hào): G06F18/23;G06F18/214;G06N3/08;G06N20/20
• 代理公司: 北京華清迪源知識(shí)產(chǎn)權(quán)代理有限公司 11577
• 代理人: 朱芳

本申請(qǐng)公開了一種基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類方法，包括多個(gè)參與方和橫向聯(lián)邦學(xué)習(xí)框架中的仲裁方，多個(gè)參與方和橫向聯(lián)邦學(xué)習(xí)框架中的仲裁方均各自持有一份無標(biāo)簽稀疏數(shù)據(jù)，無標(biāo)簽稀疏數(shù)據(jù)的數(shù)據(jù)特征相同，樣本不同；方法應(yīng)用于參與方，包括：生成密鑰，并與其它參與方交換密鑰；根據(jù)所持有的無標(biāo)簽稀疏數(shù)據(jù)訓(xùn)練基于深度學(xué)習(xí)的聚類模型，得到本地模型；根據(jù)密鑰將本地模型的參數(shù)加密后發(fā)送給assist?trainer；assist?trainer將所有參與方發(fā)送的模型參數(shù)進(jìn)行聚合平均，得到最終的全局模型。本申請(qǐng)?jiān)诓还_明文數(shù)據(jù)的前提下，可以安全整合存儲(chǔ)于不同機(jī)構(gòu)和平臺(tái)的無標(biāo)簽稀疏數(shù)據(jù)，極大地?cái)U(kuò)充樣本量，提升了模型精度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類方法及裝置。

背景技術(shù)

在現(xiàn)代社會(huì)中，隨著信息的爆炸式增長，數(shù)據(jù)量也呈現(xiàn)出爆炸式增長，數(shù)據(jù)形式也越來越多樣化。在數(shù)據(jù)挖掘領(lǐng)域，常常要面對(duì)海量的復(fù)雜型數(shù)據(jù)，其中，海量無標(biāo)簽且稀疏的數(shù)據(jù)正在越來越被人們所注意。

無標(biāo)簽稀疏數(shù)據(jù)可能來自于不同的平臺(tái)和機(jī)構(gòu)，隨著數(shù)據(jù)隱私及安全保護(hù)的重要性日益提升，不同的平臺(tái)和機(jī)構(gòu)之間無法分享全量明文數(shù)據(jù)，而整合分析不同來源的數(shù)據(jù)能為各個(gè)專業(yè)領(lǐng)域的研究提供理論基礎(chǔ)。因此，基于隱私保護(hù)技術(shù)實(shí)現(xiàn)無標(biāo)簽稀疏數(shù)據(jù)的整合，并基于深度學(xué)習(xí)方法對(duì)其進(jìn)行聚類分析有重要意義。

目前，已有的無標(biāo)簽稀疏數(shù)據(jù)分析方法的主要目標(biāo)是解決數(shù)據(jù)稀疏性高、技術(shù)局限導(dǎo)致的假0現(xiàn)象和不同來源數(shù)據(jù)之間的高度異質(zhì)性問題；具體的方法包括：譜聚類方法、深度學(xué)習(xí)方法等。

譜聚類方法是從圖論中演化出來的算法，主要思想是把數(shù)據(jù)看作空間中的點(diǎn)，點(diǎn)之間可用邊連接起來，距離較遠(yuǎn)代表點(diǎn)之間邊權(quán)重低，反之則高；隨后通過對(duì)所有數(shù)據(jù)點(diǎn)組成的圖進(jìn)行切分，讓切分后的子圖間邊權(quán)重盡可能低，子圖內(nèi)的邊權(quán)重盡可能高，從而完成聚類。但是，譜聚類方法依賴全圖的拉普拉斯矩陣，此矩陣的計(jì)算和存儲(chǔ)過于復(fù)雜，成本很高；對(duì)于特定的樣本數(shù)量而言，拉普拉斯矩陣的計(jì)算和存儲(chǔ)具有平方或超平方的復(fù)雜度，矩陣的分解甚至需要立方階復(fù)雜度；另外，譜聚類方法并不完全適配無標(biāo)簽稀疏數(shù)據(jù)的特點(diǎn)：過度離散和零膨脹，導(dǎo)致聚類結(jié)果準(zhǔn)確度不足。

面向無標(biāo)簽稀疏數(shù)據(jù)的深度學(xué)習(xí)方法多基于自動(dòng)編碼器，通過無監(jiān)督學(xué)習(xí)的方式進(jìn)行特征降維；其本質(zhì)上會(huì)重復(fù)運(yùn)行若干次自動(dòng)編碼器，將前一次的最終輸出作為下一次運(yùn)行的初始輸入，然后再利用隱藏層特征進(jìn)行聚類。但是，深度學(xué)習(xí)方法并未針對(duì)無標(biāo)簽稀疏數(shù)據(jù)分析中的聚類過程進(jìn)行設(shè)計(jì)和優(yōu)化，在高維度數(shù)據(jù)上的聚類性能劣于低維度數(shù)據(jù)。

綜上可知，目前的無標(biāo)簽稀疏數(shù)據(jù)分析方法并不能解決因數(shù)據(jù)分布于不同機(jī)構(gòu)和平臺(tái)而無法安全整合的問題。

發(fā)明內(nèi)容

為此，本申請(qǐng)?zhí)峁┮环N基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類方法及裝置，以解決現(xiàn)有技術(shù)存在的因無標(biāo)簽稀疏數(shù)據(jù)分布于不同機(jī)構(gòu)和平臺(tái)而無法安全整合的問題。

為了實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┤缦录夹g(shù)方案：

第一方面，一種基于聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)的稀疏數(shù)據(jù)聚類方法，包括多個(gè)參與方和橫向聯(lián)邦學(xué)習(xí)框架中的仲裁方，多個(gè)參與方和橫向聯(lián)邦學(xué)習(xí)框架中的仲裁方均各自持有一份無標(biāo)簽稀疏數(shù)據(jù)，無標(biāo)簽稀疏數(shù)據(jù)的數(shù)據(jù)特征相同，樣本不同；

所述方法應(yīng)用于參與方，包括：

生成密鑰，并與其它參與方交換密鑰；

根據(jù)所持有的無標(biāo)簽稀疏數(shù)據(jù)訓(xùn)練基于深度學(xué)習(xí)的聚類模型，得到本地模型；

根據(jù)所述密鑰將所述本地模型的參數(shù)加密后發(fā)送給assist-trainer；所述assist-trainer將所有參與方發(fā)送的模型參數(shù)進(jìn)行聚合平均，得到最終的全局模型。

進(jìn)一步的，所述本地模型的損失函數(shù)L為：