[發(fā)明專(zhuān)利]基于聯(lián)邦學(xué)習(xí)的模型更新方法、信息發(fā)送方法及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011121251.7
• 申請(qǐng)日: 2020-10-19
• 公開(kāi)（公告）號(hào): CN114386613A
• 公開(kāi)（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 于路;信倫
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)移動(dòng)通信有限公司研究院;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類(lèi)號(hào): G06N20/00
• 分類(lèi)號(hào): G06N20/00
• 代理公司: 北京銀龍知識(shí)產(chǎn)權(quán)代理有限公司 11243
• 代理人: 許靜;胡影

本發(fā)明提供一種基于聯(lián)邦學(xué)習(xí)的模型更新方法、信息發(fā)送方法及設(shè)備，屬于大數(shù)據(jù)分析技術(shù)領(lǐng)域，其中基于聯(lián)邦學(xué)習(xí)的模型更新方法包括：獲取至少兩個(gè)目標(biāo)終端發(fā)送的第一模型參數(shù)，并獲取所述至少兩個(gè)目標(biāo)終端的訓(xùn)練數(shù)據(jù)的質(zhì)量評(píng)估結(jié)果，所述第一模型參數(shù)是所述目標(biāo)終端基于所述訓(xùn)練數(shù)據(jù)對(duì)目標(biāo)聯(lián)邦學(xué)習(xí)模型進(jìn)行模型更新得到的更新后的模型參數(shù)；根據(jù)所述至少兩個(gè)目標(biāo)終端的訓(xùn)練數(shù)據(jù)的質(zhì)量評(píng)估結(jié)果，對(duì)所述第一模型參數(shù)進(jìn)行加權(quán)求和，得到第二模型參數(shù)；根據(jù)所述第二模型參數(shù)，對(duì)所述目標(biāo)聯(lián)邦學(xué)習(xí)模型進(jìn)行模型更新。本發(fā)明可以提高模型質(zhì)量和建模效率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)分析技術(shù)領(lǐng)域，尤其涉及一種基于聯(lián)邦學(xué)習(xí)的模型更新方法、信息發(fā)送方法及設(shè)備。

背景技術(shù)

近年來(lái)，人工智能進(jìn)入以深度學(xué)習(xí)為主導(dǎo)的大數(shù)據(jù)時(shí)代，大數(shù)據(jù)是當(dāng)前人工智能應(yīng)用的基本元素。然而，在實(shí)際應(yīng)用中，我們面對(duì)的數(shù)據(jù)現(xiàn)狀是：小規(guī)模、碎片化、缺乏數(shù)據(jù)標(biāo)簽、數(shù)據(jù)分散、由用戶(hù)隱私保護(hù)和數(shù)據(jù)安全引發(fā)的數(shù)據(jù)孤島現(xiàn)象等。傳統(tǒng)的方法是將分散在各處的數(shù)據(jù)聚合到數(shù)據(jù)中心，在數(shù)據(jù)中心進(jìn)行建模。隨著應(yīng)用領(lǐng)域的不斷擴(kuò)大和用戶(hù)隱私保護(hù)各項(xiàng)法律法規(guī)的不斷完善，傳統(tǒng)的數(shù)據(jù)聚合后再建模的方法越來(lái)越難以實(shí)施，于是，聯(lián)邦學(xué)習(xí)應(yīng)運(yùn)而生，聯(lián)邦學(xué)習(xí)的基本思想是在保證用戶(hù)隱私和數(shù)據(jù)安全的條件下，構(gòu)建多個(gè)參與方共享的高性能模型，旨在解決隱私保護(hù)和數(shù)據(jù)孤島問(wèn)題。

橫向聯(lián)邦學(xué)習(xí)是聯(lián)邦學(xué)習(xí)的重要組成部分，主要應(yīng)用于多個(gè)參與方的數(shù)據(jù)結(jié)構(gòu)相同，但數(shù)據(jù)量不足，希望在互相不暴露數(shù)據(jù)隱私的條件下，通過(guò)聯(lián)合建模，得到高性能模型。橫向聯(lián)邦學(xué)習(xí)除參與建模的終端外，還有一個(gè)中心服務(wù)器(coordinator)，該服務(wù)器負(fù)責(zé)收集各參與方的模型數(shù)據(jù)，整合并組織各方進(jìn)行模型優(yōu)化更新，最終得到聯(lián)合建模的模型。基本流程如下：

1.初始參數(shù)發(fā)送：中心服務(wù)器給本輪參與模型更新的各終端發(fā)送模型初始參數(shù)；

2.各終端模型訓(xùn)練及更新：各終端收到中心服務(wù)器的模型參數(shù)，以此為初始值，應(yīng)用自身數(shù)據(jù)進(jìn)行模型訓(xùn)練，更新模型參數(shù)，并把更新后的參數(shù)發(fā)給中心服務(wù)器；

3.中心服務(wù)器收到所有更新的參數(shù)后，按照一定的規(guī)則，對(duì)所有參數(shù)進(jìn)行加權(quán)求和，更新聯(lián)合模型參數(shù)，得到更新的全局模型。本輪模型更新結(jié)束；

4.返回1。

上述過(guò)程重復(fù)，直到達(dá)到一定的收斂條件。

在聯(lián)邦學(xué)習(xí)的建模過(guò)程中，模型質(zhì)量是一個(gè)十分重要的問(wèn)題。在實(shí)踐中發(fā)現(xiàn)，有時(shí)會(huì)出現(xiàn)模型質(zhì)量不高的現(xiàn)象和建模效率低的問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種基于聯(lián)邦學(xué)習(xí)的模型更新方法、信息發(fā)送方法及設(shè)備，用于解決目前聯(lián)邦學(xué)習(xí)模型質(zhì)量低和建模效率低的問(wèn)題。

為解決上述技術(shù)問(wèn)題，第一方面，本發(fā)明提供一種基于聯(lián)邦學(xué)習(xí)的模型更新方法，應(yīng)用于服務(wù)器，包括：

獲取至少兩個(gè)目標(biāo)終端發(fā)送的第一模型參數(shù)，并獲取所述至少兩個(gè)目標(biāo)終端的訓(xùn)練數(shù)據(jù)的質(zhì)量評(píng)估結(jié)果，所述第一模型參數(shù)是所述目標(biāo)終端基于所述訓(xùn)練數(shù)據(jù)對(duì)目標(biāo)聯(lián)邦學(xué)習(xí)模型進(jìn)行模型更新得到的更新后的模型參數(shù)；

根據(jù)所述至少兩個(gè)目標(biāo)終端的訓(xùn)練數(shù)據(jù)的質(zhì)量評(píng)估結(jié)果，對(duì)所述第一模型參數(shù)進(jìn)行加權(quán)求和，得到第二模型參數(shù)；

根據(jù)所述第二模型參數(shù)，對(duì)所述目標(biāo)聯(lián)邦學(xué)習(xí)模型進(jìn)行模型更新。

可選的，所述質(zhì)量評(píng)估結(jié)果是對(duì)所述訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量、數(shù)據(jù)完整性和數(shù)據(jù)分布均衡性中的至少之一進(jìn)行評(píng)估得到。

可選的，所述目標(biāo)聯(lián)邦學(xué)習(xí)模型為腦卒中患者居家養(yǎng)護(hù)康復(fù)管理模型。

可選的，所述獲取至少兩個(gè)目標(biāo)終端發(fā)送的第一模型參數(shù)之前，還包括：

獲取至少兩個(gè)終端的訓(xùn)練數(shù)據(jù)的質(zhì)量評(píng)估結(jié)果；