[發(fā)明專利]一種基于聯(lián)邦學(xué)習(xí)的異構(gòu)模型聚合方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110844739.0
• 申請(qǐng)日: 2021-07-26
• 公開（公告）號(hào): CN113705610A
• 公開（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 陳孔陽(yáng);張煒斌;陳卓榮;嚴(yán)基杰;黃耀;李進(jìn)
• 申請(qǐng)（專利權(quán)）人: 廣州大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 林梅繁

1.一種基于聯(lián)邦學(xué)習(xí)的異構(gòu)模型聚合方法，其特征在于，包括以下步驟：

S1、在每個(gè)客戶端設(shè)有本地?cái)?shù)據(jù)集并且初始化一個(gè)神經(jīng)網(wǎng)絡(luò)模型，在服務(wù)端初始化一個(gè)神經(jīng)網(wǎng)絡(luò)模型；

S2、每個(gè)客戶端貢獻(xiàn)出一小部分本地?cái)?shù)據(jù)，將其上傳到服務(wù)端；

S3、所上傳的本地?cái)?shù)據(jù)在服務(wù)端形成一批共享數(shù)據(jù)集，利用共享數(shù)據(jù)集訓(xùn)練出CGAN模型；

S4、每個(gè)客戶端從服務(wù)端下載共享數(shù)據(jù)集和CGAN模型到本地；

S5、服務(wù)端隨機(jī)選取若干個(gè)客戶端；

S6、客戶端利用本地?cái)?shù)據(jù)集和CGAN模型生成的數(shù)據(jù)使用增強(qiáng)迭代方法訓(xùn)練本地客戶端模型；

S7、客戶端使用本地客戶端模型依次對(duì)共享數(shù)據(jù)集每個(gè)數(shù)據(jù)進(jìn)行預(yù)測(cè)并將預(yù)測(cè)分?jǐn)?shù)上傳到服務(wù)端；

S8、服務(wù)端使用JS函數(shù)計(jì)算各個(gè)客戶端與其它客戶端預(yù)測(cè)分?jǐn)?shù)偏差程度并將計(jì)算出的結(jié)果的倒數(shù)作為其預(yù)測(cè)分?jǐn)?shù)的權(quán)重；

S9、根據(jù)預(yù)測(cè)分?jǐn)?shù)P_i及步驟S8計(jì)算出的各個(gè)客戶端的預(yù)測(cè)分?jǐn)?shù)權(quán)重及其預(yù)測(cè)分?jǐn)?shù)，使用加權(quán)平均方法計(jì)算出全局預(yù)測(cè)分?jǐn)?shù)；

S10、服務(wù)端模型使用共享數(shù)據(jù)集和全局預(yù)測(cè)分?jǐn)?shù)對(duì)服務(wù)端模型進(jìn)行知識(shí)蒸餾；

S11、客戶端從服務(wù)端下載其它客戶端模型的預(yù)測(cè)分?jǐn)?shù)，然后通過(guò)其它客戶端模型的預(yù)測(cè)分?jǐn)?shù)與本地客戶端模型的預(yù)測(cè)分?jǐn)?shù)對(duì)本地客戶端模型進(jìn)行合作訓(xùn)練；

S12、多次迭代步驟S5到S11，最終服務(wù)端模型與客戶端模型收斂；

S13、每個(gè)客戶端下載服務(wù)端模型到客戶端的計(jì)算機(jī)。

2.根據(jù)權(quán)利要求1所述的異構(gòu)模型聚合方法，其特征在于，在步驟S1中，每個(gè)客戶端的神經(jīng)網(wǎng)絡(luò)模型的模型結(jié)構(gòu)和模型參數(shù)都不相同，每個(gè)客戶端本地?cái)?shù)據(jù)集數(shù)據(jù)分布情況都不相同。

3.根據(jù)權(quán)利要求1所述的異構(gòu)模型聚合方法，其特征在于，在步驟S3中，共享數(shù)據(jù)集的數(shù)據(jù)類別是均衡的，一個(gè)CGAN模型只可以生成一種類別的數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的異構(gòu)模型聚合方法，其特征在于，在步驟S5中，服務(wù)端隨機(jī)選取的客戶端個(gè)數(shù)小于總的客戶端個(gè)數(shù)。

5.根據(jù)權(quán)利要求1所述的異構(gòu)模型聚合方法，其特征在于，在步驟S6中，所述增強(qiáng)迭代方法包括步驟：

S61：對(duì)于數(shù)據(jù)的每種類別j，使用CGAN模型G_j生成一個(gè)類別均為j的數(shù)據(jù)集d_j，其中數(shù)據(jù)集d_j的大小為N，使用數(shù)據(jù)集d_j對(duì)本地模型M_i根據(jù)以下公式進(jìn)行一輪的訓(xùn)練：

其中CrossEntropyLoss()為交叉熵?fù)p失函數(shù)，θ_i為本地客戶端模型M_i的參數(shù)，η為學(xué)習(xí)率，為本地客戶端模型M_i對(duì)數(shù)據(jù)集d_j第n個(gè)數(shù)據(jù)的預(yù)測(cè)，j為數(shù)據(jù)標(biāo)簽。使用數(shù)據(jù)集d_j訓(xùn)練后，計(jì)算訓(xùn)練過(guò)程中本地客戶端模型M_i對(duì)數(shù)據(jù)集d_j中全部數(shù)據(jù)的平均預(yù)測(cè)分?jǐn)?shù)平均預(yù)測(cè)分?jǐn)?shù)按以下公式得到：

S62：使用本地?cái)?shù)據(jù)集D_i對(duì)本地模型M_i根據(jù)以下公式進(jìn)行多輪的訓(xùn)練：

其中KLDivLoss()為相對(duì)熵?fù)p失函數(shù)，CrossEntropyLoss()為交叉熵?fù)p失函數(shù)，θ_i為本地客戶端模型M_i的參數(shù)，η為學(xué)習(xí)率，α為正則化參數(shù)，為本地客戶端模型M_i對(duì)本地?cái)?shù)據(jù)集D_i第n個(gè)數(shù)據(jù)的預(yù)測(cè)，為本地?cái)?shù)據(jù)集D_i第n個(gè)數(shù)據(jù)的標(biāo)簽，為本地?cái)?shù)據(jù)集D_i第n個(gè)數(shù)據(jù)的標(biāo)簽類別對(duì)應(yīng)的平均預(yù)測(cè)分?jǐn)?shù)。