[發明專利]一種基于聯邦學習的異構模型聚合方法和系統

在審

• 申請號: 202110844739.0
• 申請日: 2021-07-26
• 公開（公告）號: CN113705610A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 陳孔陽;張煒斌;陳卓榮;嚴基杰;黃耀;李進
• 申請（專利權）人: 廣州大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 林梅繁

本發明涉及聯邦學習領域，為基于聯邦學習的異構模型聚合方法和系統，其方法包括步驟：初始化神經網絡模型；每個客戶端貢獻出部分本地數據上傳到服務端以形成共享數據集，并訓練出CGAN模型；客戶端利用本地數據集和CGAN模型生成的數據集訓練本地模型，對共享數據集每個數據進行預測并將預測分數上傳到服務端；服務端計算各客戶端預測分數偏差程度并將計算結果的倒數作為權重，計算全局預測分數，使用全局預測分數對服務端模型進行知識蒸餾；客戶端從服務端下載其它客戶端模型的預測分數進行合作訓練；多次迭代后模型收斂。本發明能夠解決客戶端數據異質問題，客戶端模型上傳和下載的是對于共享數據集的預測分數，減少了客戶端和服務端間的通訊量。

技術領域

本發明涉及聯邦學習領域，具體涉及一種基于聯邦學習的異構模型聚合方法和系統。

背景技術

當今深度學習領域發展迅猛，然而深度學習有一個明顯的缺點，那就是需要大量數據來進行訓練才能達到較好的性能。近年來，重視數據隱私和安全已經成為了世界性的趨勢，同時，大多數行業數據呈現數據孤島現象，如何在滿足用戶隱私保護、數據安全和政府法規的前提下各方聯合訓練出一個優秀的模型，聯邦學習是解決這一個問題的關鍵技術。

聯邦學習發展至今，仍然面臨許多挑戰。其中最重要的兩個方面是客戶端模型的異構和本地數據的差異。由于每一個客戶端不一定相同且處在不同空間中，這就導致了各個客戶端的通訊量、算力以及所擁有的數據有很大差異，而這些差異會嚴重影響各個客戶端聯合訓練的模型質量。

近年來有人提出一種新的方法，允許不同的客戶端根據其算力設計不同的網絡結構，每個客戶端每輪下載全部客戶端模型對共享數據集的平均預測分數，并使用知識蒸餾讓客戶端本地模型去擬合這個平均預測分數，從而學習到全局共識。這種方法仍有一些缺點如下：

1.該方法仍未較好地解決客戶端數據異質問題，在各個客戶端本地數據集非獨立同分布的條件下，各個客戶端的模型性能相差較大，公平性較差。

2.在求全部客戶端模型對共享數據集的平均預測分數只采用簡單平均方法，未考慮各個客戶端模型性能的差異，導致如果某些客戶端模型性能較差，會嚴重影響平均預測分數的質量。

近年來還有人提出另一種新的方法。該方法中每一輪隨機選擇一些客戶端發送上一輪的聚合模型參數，客戶端利用本地數據更新參數并將更新后的參數發送給服務端。服務端將接收到的模型參數取權值平均后，再利用未標記的數據或通過生成器生成的數據(例如GAN)進行集成蒸餾得到這一輪的聚合模型參數。這種方法仍存在一些缺點如下：

1.客戶端仍需要向服務端上傳和下載模型參數，通訊量問題未得到有效解決。

2.該方法中服務端需要將各個客戶端的模型參數進行平均，所以客戶端模型并非完全異構，而是必須要某些客戶端模型同構，也只有模型結構相同的客戶端模型才能進行聚合。

發明內容

為解決現有技術所存在的技術問題，本發明的目的是提供一種可以較好的解決客戶端數據異質問題，并且允許客戶端模型異構以及向服務端發送預測分數來減少通訊量的聯邦學習方法。

為解決上述技術問題，本發明的技術方案如下：

一種基于聯邦學習的異構模型聚合方法和系統，包括以下步驟：

S1、每個客戶端含有本地數據集并且初始化一個神經網絡模型，服務端初始化一個神經網絡模型；

S2、每個客戶端貢獻出一小部分本地數據集，將其上傳到服務端；

S3、服務端形成一批共享數據集，并利用共享數據集訓練出CGAN模型；

S4、每個客戶端從服務端下載共享數據集和CGAN模型到本地；

S5、服務端隨機選取若干個客戶端；