[發(fā)明專利]一種物聯(lián)網(wǎng)中基于聯(lián)邦遷移學(xué)習(xí)的模型訓(xùn)練方法及裝置

在審

• 申請?zhí)枺?/td>: 202011163727.3
• 申請日: 2020-10-27
• 公開（公告）號: CN112348063A
• 公開（公告）日: 2021-02-09
• 發(fā)明（設(shè)計）人: 曾瑛;張珮明;王力;李偉堅;陳宇航;施展;付佳佳;盧建剛
• 申請（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司電力調(diào)度控制中心
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京潤捷智誠知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11831
• 代理人: 安利霞

本發(fā)明提供一種物聯(lián)網(wǎng)中基于聯(lián)邦遷移學(xué)習(xí)的模型訓(xùn)練方法及裝置，所述方法包括：數(shù)據(jù)持有者向本地服務(wù)器端發(fā)起查詢可用機器學(xué)習(xí)訓(xùn)練模型請求；所述本地服務(wù)器端查詢是否存在與所述數(shù)據(jù)持有者的請求相匹配的可用機器學(xué)習(xí)訓(xùn)練模型；若在所述本地服務(wù)器未找到可用機器學(xué)習(xí)訓(xùn)練模型，則記錄所述數(shù)據(jù)持有者發(fā)送的數(shù)據(jù)訓(xùn)練請求，并發(fā)送至聯(lián)邦遷移學(xué)習(xí)服務(wù)器；所述聯(lián)邦遷移學(xué)習(xí)服務(wù)器端查詢是否存在所述數(shù)據(jù)持有者的請求相匹配的可用機器學(xué)習(xí)訓(xùn)練模型；當(dāng)所述聯(lián)邦遷移學(xué)習(xí)服務(wù)器端找到與所述數(shù)據(jù)持有者的請求相匹配的可用機器學(xué)習(xí)訓(xùn)練模型時，則進行對應(yīng)的遷移學(xué)習(xí)過程。本發(fā)明的技術(shù)方案在保障用戶數(shù)據(jù)隱私的情況下，可以實現(xiàn)小數(shù)據(jù)價值的挖掘。

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種物聯(lián)網(wǎng)中基于聯(lián)邦遷移學(xué)習(xí)的模型訓(xùn)練方法及裝置。

背景技術(shù)

隨著物聯(lián)網(wǎng)技術(shù)的不斷普及，物聯(lián)網(wǎng)設(shè)備的數(shù)量呈現(xiàn)爆發(fā)式增長。據(jù)國際數(shù)據(jù)公司IDC報告統(tǒng)計，到2025年，物聯(lián)網(wǎng)設(shè)備數(shù)量將達到416億臺，并將產(chǎn)生79.4ZB的海量數(shù)據(jù)。這些數(shù)據(jù)具備來源廣泛、數(shù)據(jù)持有者不同、類型繁雜等特點，因此亟需高效的數(shù)據(jù)處理與分析技術(shù)，以挖掘海量數(shù)據(jù)的有效價值。近年來，人工智能技術(shù)的快速興起推動其在各個領(lǐng)域得到了較為廣泛的應(yīng)用。但是在物聯(lián)網(wǎng)場景下，由于不同的數(shù)據(jù)持有者間隱私保護等問題的存在，數(shù)據(jù)呈現(xiàn)出“數(shù)據(jù)孤島”的形式，其價值無法被充分挖掘以利用。

專利號為CN108833464A的《邦聯(lián)式多域物聯(lián)網(wǎng)協(xié)同系統(tǒng)及方法、智慧城市、智能家居》：該專利基于區(qū)塊鏈技術(shù)，通過標(biāo)識管理中心對各域的數(shù)據(jù)標(biāo)識進行權(quán)限驗證，以實現(xiàn)多域物聯(lián)網(wǎng)的數(shù)據(jù)共享與服務(wù)協(xié)同。

上述方案仍存在用戶隱私數(shù)據(jù)泄露的風(fēng)險，無法實現(xiàn)數(shù)據(jù)的高度共享，數(shù)據(jù)價值難以被挖掘。

專利號為CN110992936A的《使用私有數(shù)據(jù)來進行模型訓(xùn)練的方法及裝置》：該專利公布的方法由服務(wù)端設(shè)備執(zhí)行。服務(wù)端將全局模型下發(fā)給多個客戶端設(shè)備，每個客戶端設(shè)備利用本地私有數(shù)據(jù)對當(dāng)前的全局模型進行訓(xùn)練。服務(wù)端設(shè)備根據(jù)從每個客戶端設(shè)備收集的模型更新量對當(dāng)前全局模型進行模型更新。

上述方案參照了聯(lián)邦學(xué)習(xí)的機制原理，用戶私有數(shù)據(jù)不出本地即可參與完成全局模型的訓(xùn)練過程，但是該技術(shù)方案并未涉及針對小數(shù)據(jù)的訓(xùn)練方法。

通過對現(xiàn)有技術(shù)的分析可知，現(xiàn)有方案并未提及如何在保障數(shù)據(jù)隱私的前提下對小數(shù)據(jù)進行處理與分析，以充分挖掘其應(yīng)用價值。

另外，在某些特定的物聯(lián)網(wǎng)應(yīng)用領(lǐng)域中，如智慧醫(yī)療等，某些應(yīng)用的數(shù)據(jù)量是很少的或者某些應(yīng)用的標(biāo)簽數(shù)據(jù)量很少，若為數(shù)據(jù)打標(biāo)簽需要消耗巨大的成本。這些數(shù)據(jù)的存在形式被定義為“小數(shù)據(jù)”。上述現(xiàn)狀致使人工智能相關(guān)技術(shù)在物聯(lián)網(wǎng)領(lǐng)域的應(yīng)用存在一定的局限性。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種物聯(lián)網(wǎng)中基于聯(lián)邦遷移學(xué)習(xí)的模型訓(xùn)練方法及裝置，用于在保障用戶數(shù)據(jù)隱私的情況下，完成模型的協(xié)同訓(xùn)練過程，以實現(xiàn)小數(shù)據(jù)價值的挖掘。

為解決上述技術(shù)問題，本發(fā)明的實施例提供如下技術(shù)方案：

一種物聯(lián)網(wǎng)中基于聯(lián)邦遷移學(xué)習(xí)的模型訓(xùn)練方法，包括：

數(shù)據(jù)持有者向本地服務(wù)器端發(fā)起查詢可用機器學(xué)習(xí)訓(xùn)練模型請求；

所述本地服務(wù)器端查詢是否存在與所述數(shù)據(jù)持有者的請求相匹配的可用機器學(xué)習(xí)訓(xùn)練模型；若在所述本地服務(wù)器未找到可用機器學(xué)習(xí)訓(xùn)練模型，則記錄所述數(shù)據(jù)持有者發(fā)送的數(shù)據(jù)訓(xùn)練請求，并發(fā)送至聯(lián)邦遷移學(xué)習(xí)服務(wù)器；

所述聯(lián)邦遷移學(xué)習(xí)服務(wù)器端查詢是否存在所述數(shù)據(jù)持有者的請求相匹配的可用機器學(xué)習(xí)訓(xùn)練模型；

當(dāng)所述聯(lián)邦遷移學(xué)習(xí)服務(wù)器端找到與所述數(shù)據(jù)持有者的請求相匹配的可用機器學(xué)習(xí)訓(xùn)練模型時，則進行對應(yīng)的遷移學(xué)習(xí)過程。

可選的，所述本地服務(wù)器端查詢是否存在所述數(shù)據(jù)持有者的請求相匹配的可用機器學(xué)習(xí)訓(xùn)練模型，還包括：