[發(fā)明專利]保護(hù)用戶隱私的聯(lián)邦學(xué)習(xí)和圖像分類方法、系統(tǒng)及終端

在審

• 申請?zhí)枺?/td>: 202010151109.0
• 申請日: 2020-03-05
• 公開（公告）號: CN111477290A
• 公開（公告）日: 2020-07-31
• 發(fā)明（設(shè)計(jì)）人: 戴文睿;毛志成;徐宇輝;李成林;鄒君妮;熊紅凱
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G16H10/60
• 分類號: G16H10/60;G06F21/62;G06K9/62
• 代理公司: 上海恒慧知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種保護(hù)用戶隱私的聯(lián)邦學(xué)習(xí)方法，其特征在于，包括：

采集各終端上用戶行為產(chǎn)生的數(shù)據(jù)，保存于該本地終端；

服務(wù)器發(fā)送一個(gè)統(tǒng)一的模型給各終端，各終端利用采集到的所述數(shù)據(jù)訓(xùn)練所述模型；

將各終端訓(xùn)練后的所述模型上傳到所述服務(wù)器，所述服務(wù)器對所述模型先在不同終端之間進(jìn)行交換后再全局聚合，或者，所述服務(wù)器對所述模型先進(jìn)行部分聚合后再在不同終端之間交換，最后進(jìn)行全局聚合。

2.根據(jù)權(quán)利要求1所述的保護(hù)用戶隱私的聯(lián)邦學(xué)習(xí)方法，其特征在于：所述服務(wù)器對所述模型先在不同終端之間進(jìn)行交換后再全局聚合，包括：

將所有終端上傳的所述模型隨機(jī)打亂，并將打亂后的所述模型發(fā)送給除所述本地終端之外的終端，實(shí)現(xiàn)所述模型在各終端之間的交換，使各模型在除所述本地終端之外的其它任意一個(gè)隨機(jī)選定的終端上進(jìn)行訓(xùn)練更新；

將各終端交換后訓(xùn)練更新的所述模型再上傳到所述服務(wù)器，所述服務(wù)器對所有終端的模型進(jìn)行全局聚合。

3.根據(jù)權(quán)利要求1所述的保護(hù)用戶隱私的聯(lián)邦學(xué)習(xí)方法，其特征在于：所述服務(wù)器對所述模型先進(jìn)行部分聚合后再在不同終端之間交換，最后進(jìn)行全局聚合，包括：

所述服務(wù)器選擇其中一個(gè)或多個(gè)模型進(jìn)行部分聚合，將部分聚合后的所述模型隨機(jī)打亂順序，并發(fā)送給除所述本地終端之外的終端，實(shí)現(xiàn)所述模型在各終端之間的交換，使各模型在除所述本地終端之外的其它任意一個(gè)隨機(jī)選定的終端上進(jìn)行訓(xùn)練更新；

將各終端訓(xùn)練更新的所述模型再上傳到所述服務(wù)器，所述服務(wù)器對訓(xùn)練更新后的所有模型進(jìn)行全局聚合。

4.根據(jù)權(quán)利要求1所述的保護(hù)用戶隱私的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述采集各終端上用戶行為產(chǎn)生的數(shù)據(jù)，包括：各終端的數(shù)據(jù)采集獨(dú)立進(jìn)行，采集到的數(shù)據(jù)基于用戶個(gè)人特征與個(gè)人行為；各終端間采集的數(shù)據(jù)分布不相同，對應(yīng)地，各終端訓(xùn)練得到的所述模型的參數(shù)也不相同。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的保護(hù)用戶隱私的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述服務(wù)器對模型進(jìn)行聚合，其中聚合方法通過線性或非線性方式組合選定模型。

6.一種保護(hù)用戶隱私的聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)，其特征在于，包括：

數(shù)據(jù)采集模塊，采集各終端上用戶行為產(chǎn)生的數(shù)據(jù)，保存于本地終端；

本地訓(xùn)練模塊，接收服務(wù)器發(fā)送的一個(gè)統(tǒng)一的模型，利用采集到的本地終端的數(shù)據(jù)訓(xùn)練所述模型；

模型通信模塊，負(fù)責(zé)在各終端與所述服務(wù)器之間傳輸所述模型，包括將各終端訓(xùn)練的所述模型上傳到所述服務(wù)器，以及從所述服務(wù)器將所述模型下載到各終端；

模型聚合模塊，對所有終端上傳到所述服務(wù)器的一個(gè)或多個(gè)模型進(jìn)行部分聚合，或?qū)K端上傳到所述服務(wù)器的所有模型進(jìn)行全局聚合；

模型交換模塊，實(shí)現(xiàn)所述模型在不同終端間的隨機(jī)交換，其中，所述模型交換模塊將所述模型聚合模塊部分聚合后的所述模型在不同終端間進(jìn)行交換訓(xùn)練，再傳給所述模型聚合模塊進(jìn)行全局聚合，或者，將所述模型在不同終端間進(jìn)行交換訓(xùn)練后，再傳給所述模型聚合模塊進(jìn)行全局聚合。

7.根據(jù)權(quán)利要求6所述的保護(hù)用戶隱私的聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述模型交換模塊將所有終端上傳的所述模型隨機(jī)打亂，并將打亂后的所述模型發(fā)送給除所述本地終端之外的終端，實(shí)現(xiàn)所述模型在各終端之間的交換，使各模型在除所述本地終端之外的其它任意一個(gè)隨機(jī)選定的終端上進(jìn)行訓(xùn)練更新；將各終端交換后訓(xùn)練更新的所述模型再傳到所述模型聚合模塊進(jìn)行全局聚合。

8.根據(jù)權(quán)利要求6所述的保護(hù)用戶隱私的聯(lián)邦學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)，其特征在于，所述模型交換模塊選擇其中一個(gè)或多個(gè)模型進(jìn)行部分聚合，將部分聚合后的所述模型隨機(jī)打亂順序，并發(fā)送給除所述本地終端之外的終端，實(shí)現(xiàn)所述模型在各終端之間的交換，使各模型在除所述本地終端之外的其它任意一個(gè)隨機(jī)選定的終端上進(jìn)行訓(xùn)練更新；各終端訓(xùn)練更新的所述模型再上傳到所述模型聚合模塊，所述模型聚合模塊對訓(xùn)練更新后的所有模型進(jìn)行全局聚合。