[發明專利]基于蒸餾的半監督聯邦學習的個性化模型的訓練方法

有效

• 申請號: 202110623936.X
• 申請日: 2021-06-04
• 公開（公告）號: CN113205863B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 龔艷霞;梁媛;李先賢;歐陽揚
• 申請（專利權）人: 廣西師范大學
• 主分類號: G16H10/60
• 分類號: G16H10/60;G16H50/50;G06F30/27;G06N3/04;G06N3/08;G06F111/08
• 代理公司: 桂林市持衡專利商標事務所有限公司 45107
• 代理人: 陳躍琳

本發明公開一種基于蒸餾的半監督聯邦學習的個性化模型的訓練方法，采用知識蒸餾技術，客戶端通過上傳模型預測而不是模型參數，使得每個客戶端可以選擇自己設計的模型架構，很好地保護了客戶端關于模型的隱私信息，而利用共享數據與客戶端的本地數據一起進行訓練，極大地提高模型的泛化能力。此外，聚合方案能根據每個客戶端提供知識的重要程度來進行動態聚合，使聚合的模型預測更好地融合了客戶端的模型知識。服務器聚合完成后，回傳給客戶端的不是公共數據的模型預測分布信息而是偽標簽信息，利用這種方式進一步地提高了通信傳輸效率。

技術領域

本發明涉及聯邦學習技術領域，具體涉及一種基于蒸餾的半監督聯邦學習的個性化模型的訓練方法。

背景技術

聯邦學習在保證一組客戶端不上傳本地數據集的前提下協同訓練一個全局模型，每個用戶只能訪問自己的數據，從而保護了參與訓練用戶的隱私。聯邦學習因為其優勢在醫學、金融和人工智能等行業有著廣泛的應用前景，是最近幾年的研究熱點。然而聯邦學習側重于通過學習所有參與客戶機的本地數據來獲得高質量的全局模型，但由于現實場景中每個客戶端的數據是異質的，當面臨數據異質性問題，它無法訓練出一個適用于所有客戶端的全局模型。

使用知識蒸餾技術能夠有效的解決聯邦學習中的模型異構性問題，激起了大量學者的研究興趣。知識蒸餾技術的主要思想是將復雜的教師網絡的輸出作為知識傳給學生網絡，使得學生網絡在訓練的過程中不僅能夠學習數據真實標簽的信息還能學習不同標簽之間關系的信息，從而轉換成一個精簡的學生網絡，這里的網絡輸出對應了相應類別的概率值。其中，教師模型和學生模型是兩種不同的網絡架構。因此將知識蒸餾技術應用到聯邦學習中可以解決模型異構性問題。

然而，將知識蒸餾技術應用到聯邦學習中必須要保證在同一個數據集上進行蒸餾，而聯邦學習中各個客戶端的本地數據都不同，因此怎么在客戶端上構造相同的數據集實現蒸餾是一個難題。在聯邦學習中，擁有不同數據的客戶端由于數據質量參差不齊導致模型輸出所提供知識的重要程度不同，所以簡單地對其進行平均并不是一種有效的聚合方法。此外，在現實中，由于每個參與方(例如醫院)本地擁有大量的無標簽數據，而有標記數據卻很少，因此在滿足隱私保護的約束和半監督場景下，如何為每個客戶端訓練一個適合的模型(包括模型性能和模型框架)，是一個亟待解決的問題。

發明內容

本發明所要解決的是在聯邦學習半監督場景下的數據異質性和模型異質性問題，提供一種基于蒸餾的半監督聯邦學習的個性化模型的訓練方法。

為解決上述問題，本發明是通過以下技術方案實現的：

基于蒸餾的半監督聯邦學習的個性化模型的訓練方法，包括步驟如下：

步驟1、每個客戶端分別使用自己的無標簽本地數據集訓練一個對抗生成網絡，并將對抗生成網絡及其采樣噪聲的種子上傳至中心服務器；中心服務器先利用每個客戶端的對抗生成網絡及其采樣噪聲的種子生成每個客戶端的無標簽合成樣本，再從所有客戶端的無標簽合成樣本中選擇一部分作為無標簽共享數據集；所有客戶端從中心服務器上下載無標簽共享數據集；

步驟2、令當前輪次t＝1，中心服務器從所有客戶端中選擇一部分客戶端作為參與方進行協同訓練；在協同訓練過程中，每個參與方分別先利用自己的有標簽本地數據集和無標簽本地數據集對自己的本地神經網絡模型進行半監督訓練，得到本輪訓練的本地神經網絡模型；再利用本輪訓練的本地神經網絡模型對無標簽共享數據集進行預測，得到每個參與方在第t輪次的模型預測矩陣；

步驟3、中心服務器先計算第t輪次的聚合模型預測矩陣，再從第t輪次的聚合模型預測矩陣中挑選挑選概率最大的類別標簽作為偽標簽，后將偽標簽傳回給所有的客戶端；

式中，為第t輪次的聚合模型預測矩陣，為第t-1輪次的聚合模型預測矩陣，為參與方k′在第t輪次的模型預測矩陣，為第t-1輪次的聚合模型預測矩陣與參與方k′在第t輪次的模型預測矩陣的JS散度值，K′為參與方的數量，ε為設定的近似值；