[發(fā)明專利]面向樣本稀疏性的聯(lián)邦學(xué)習(xí)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110371288.3
• 申請(qǐng)日: 2021-04-07
• 公開（公告）號(hào): CN113128701A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 陳益強(qiáng);陳前;蔣鑫龍;秦欣
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院計(jì)算技術(shù)研究所
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 北京泛華偉業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇

1.一種面向樣本稀疏性的聯(lián)邦學(xué)習(xí)方法，包括：

由參與協(xié)同訓(xùn)練的每個(gè)邊緣設(shè)備根據(jù)來自云端服務(wù)器的全局模型，利用預(yù)設(shè)的特征提取模型從其本地?cái)?shù)據(jù)中提取與該全局模型相對(duì)應(yīng)的特征向量，并基于所提取的特征向量對(duì)當(dāng)前的全局模型進(jìn)行訓(xùn)練；

由每個(gè)邊緣設(shè)備將經(jīng)訓(xùn)練后得到的模型參數(shù)以及所提取的特征向量上傳至云端服務(wù)器；

由云端服務(wù)器通過預(yù)設(shè)的表示學(xué)習(xí)模型從來自各邊緣設(shè)備的所有特征向量中獲取多模態(tài)特征聯(lián)合表示；

由云端服務(wù)器對(duì)來自各個(gè)邊緣設(shè)備的模型參數(shù)進(jìn)行聚合，并基于所獲取的多模態(tài)特征聯(lián)合表示對(duì)經(jīng)聚合后的全局模型進(jìn)行訓(xùn)練并將訓(xùn)練后的模型參數(shù)和多模態(tài)特征聯(lián)合表示下發(fā)至各個(gè)邊緣設(shè)備；

由每個(gè)邊緣設(shè)備基于來自云端服務(wù)器的模型參數(shù)構(gòu)建新的全局模型，并基于本地提取的特征向量和所接收的多模態(tài)特征聯(lián)合表示對(duì)所構(gòu)建的新的全局模型進(jìn)行微調(diào)訓(xùn)練，以得到其對(duì)應(yīng)的本地模型。

2.根據(jù)權(quán)利要求1所述的方法，其中參與協(xié)同訓(xùn)練的各個(gè)邊緣設(shè)備具有不同模態(tài)的本地?cái)?shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其中參與協(xié)同訓(xùn)練的各個(gè)邊緣設(shè)備采用同一特征提取模型或不同的特征提取模型從其本地?cái)?shù)據(jù)中提取與全局模型相對(duì)應(yīng)的特征向量。

4.根據(jù)權(quán)利要求3所述的方法，其中所述特征提取模型為下列之一：卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求1所述的方法，其中所述表示學(xué)習(xí)模型為下列之一：卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)、受限波爾茲曼機(jī)。

6.根據(jù)權(quán)利要求1所述的方法，其中所述全局模型為下列之一：卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)、受限波爾茲曼機(jī)。

7.根據(jù)權(quán)利要求1所述的方法，其中基于本地提取的特征向量和所接收的多模態(tài)特征聯(lián)合表示對(duì)所構(gòu)建的新的全局模型進(jìn)行微調(diào)訓(xùn)練包括：

以來自云端服務(wù)器的模型參數(shù)為源域，以邊緣設(shè)備的本地模型的模型參數(shù)為目標(biāo)域進(jìn)行遷移學(xué)習(xí)，其中在用于遷移學(xué)習(xí)的目標(biāo)函數(shù)中計(jì)及源域與目標(biāo)域分布的差異以及本地提取的特征向量與來自云端服務(wù)器的多模態(tài)特征聯(lián)合表示之間的差異。

8.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，其中采用同態(tài)加密的方式對(duì)云端服務(wù)器與邊緣設(shè)備之間傳遞的模型參數(shù)進(jìn)行加密處理；以及采用差分?jǐn)_動(dòng)的方式來對(duì)各邊緣設(shè)備向云端服務(wù)器上傳的特征向量進(jìn)行加密處理。

9.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，其中還包括：

由每個(gè)邊緣設(shè)備將進(jìn)行微調(diào)訓(xùn)練后得到的本地模型的參數(shù)上傳至云端服務(wù)器；

由云端服務(wù)器對(duì)所接收的來自各個(gè)邊緣設(shè)備的模型參數(shù)進(jìn)行聚合；

由云端服務(wù)器響應(yīng)于確定采用聚合后參數(shù)的全局模型的精度并未達(dá)到預(yù)設(shè)條件，基于所獲取的多模態(tài)特征聯(lián)合表示對(duì)經(jīng)聚合后的全局模型進(jìn)行訓(xùn)練并將訓(xùn)練后的模型參數(shù)下發(fā)至各個(gè)邊緣設(shè)備；

由每個(gè)邊緣設(shè)備基于來自云端服務(wù)器的模型參數(shù)構(gòu)建新的全局模型，并基于本地提取的特征向量和所接收的多模態(tài)特征聯(lián)合表示對(duì)所構(gòu)建的新的全局模型進(jìn)行微調(diào)訓(xùn)練，以得到其對(duì)應(yīng)的本地模型；

重復(fù)上述步驟直到云端服務(wù)器確定采用聚合后參數(shù)的全局模型的精度達(dá)到預(yù)設(shè)條件為止。

10.一種面向樣本稀疏性的聯(lián)邦學(xué)習(xí)系統(tǒng)，包括云端服務(wù)器以及參與協(xié)同訓(xùn)練的多個(gè)邊緣設(shè)備，其中：

每個(gè)邊緣設(shè)備被配置為：

根據(jù)來自云端服務(wù)器的全局模型，利用預(yù)設(shè)的特征提取模型從其本地?cái)?shù)據(jù)中提取與該全局模型相對(duì)應(yīng)的特征向量，并基于所提取的特征向量對(duì)當(dāng)前的全局模型進(jìn)行訓(xùn)練；將經(jīng)訓(xùn)練后得到的模型參數(shù)以及所提取的特征向量上傳至云端服務(wù)器；以及基于來自云端服務(wù)器的模型參數(shù)構(gòu)建新的全局模型，并基于本地提取的特征向量和所接收的多模態(tài)特征聯(lián)合表示對(duì)所構(gòu)建的新的全局模型進(jìn)行微調(diào)訓(xùn)練，以得到其對(duì)應(yīng)的本地模型；

云端服務(wù)器被配置為：

通過預(yù)設(shè)的表示學(xué)習(xí)模型從來自各邊緣設(shè)備的所有特征向量中獲取多模態(tài)特征聯(lián)合表示；對(duì)來自各個(gè)邊緣設(shè)備的模型參數(shù)進(jìn)行聚合，并基于所獲取的多模態(tài)特征聯(lián)合表示對(duì)經(jīng)聚合后的全局模型進(jìn)行訓(xùn)練；以及將訓(xùn)練后的模型參數(shù)和多模態(tài)特征聯(lián)合表示下發(fā)至各個(gè)邊緣設(shè)備。