[發明專利]基于差分隱私和量化的聯邦學習全局模型訓練方法

在審

• 申請號: 202110856897.8
• 申請日: 2021-07-28
• 公開（公告）號: CN113591145A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 王子龍;周伊琳;陳謙;肖丹;王鴻波;陳嘉偉;劉蘊琪;安澤宇
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/00
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

一種基于差分隱私和量化的聯邦學習全局模型訓練方法，其步驟為：中央服務器下發預訓練的聯邦學習全局模型，生成每個本地用戶的本地模型梯度，對每個本地用戶的本地模型梯度依次進行添加噪聲，閾值量化，壓縮量化，將壓縮量化后的本地模型梯度上傳至中央服務器，中央服務器對上傳的本地模型梯度進行加權聚合并更新全局模型后下發給每個本地用戶，當每個本地用戶的隱私預算值耗盡或者聯邦學習全局模型收斂時結束訓練。本發明的方法在不損失聯邦學習全局模型精確度的前提下，保護了本地用戶的隱私，降低了傳輸過程中的通信開銷，提高了聯邦學習全局模型的訓練效率。

技術領域

本發明屬于數據處理技術領域，更進一步涉及機器學習模型梯度數據處理技術領域中的一種基于差分隱私和量化的聯邦學習全局模型訓練方法。本發明可用來從分散在用戶本地的數據中訓練機器學習模型，并支持保護單個用戶隱私，減小用戶梯度數據的傳輸規模，最終達到降低傳輸過程的通信開銷以提升聯邦學習全局模型訓練效率的目的。

背景技術

聯邦學習允許用戶在不集中存儲數據的情況下共同獲得一個共享的全局模型。具體地，用戶利用本地數據在本地訓練各自的本地模型，并將訓練好的本地模型梯度數據上傳給中央服務器，由中央服務器進行聚合并更新全局模型。整個訓練過程中，用戶的數據不會離開用戶的本地設備。但是，聯邦學習中存在著大量的本地用戶和中央服務器之間的交互通信。因此，通信效率成為制約聯邦學習發展的主要因素。如何降低單次通信開銷和整體通信次數以提升聯邦學習通信效率成為了發展聯邦學習的關鍵問題。

Truex等人在其發表的論文“LDP-Fed：federated learning withlocaldifferential privacy”(EuroSys'20：Fifteenth EuroSys Conference 2020.)中提出了一種基于本地差分隱私的聯邦學習模型訓練方法。該方法的主要步驟是：(1)用戶初始化本地模型和本地差分隱私模塊，服務器生成初始模型參數并發送給每個用戶；(2)用戶進行本地訓練，并計算訓練梯度；(3)每個用戶利用本地差分隱私對其梯度進行擾動；(4)將模型參數的更新匿名發送到隨機選擇的k個用戶；(5)服務器等待接收隨機選擇的k個參數更新；(6)服務器對收到的參數更新進行聚合；(7)服務器更新模型參數，并將更新的值下發給用戶；(8)用戶進行本地模型更新并執行步驟(2)以開始下一次迭代。該方法存在的不足之處是：該方法中由于用戶需要上傳全部的本地模型梯度，由此占用了大量的存儲空間，增加了傳輸過程中的通信開銷。

之江實驗室在其申請的專利文獻“一種聯邦學習模型訓練方法、裝置及聯邦學習系統”(申請號202011473442.X，申請公布號CN 112232528 A，公布日期2021.01.15)中提出了一種分區的聯邦學習模型訓練方法。該方法的主要步驟是：(1)一個邊緣計算服務器與多個用戶設備利用網絡局部性的優勢形成區域，用戶依靠本地數據并采用截斷的方式完成模型本地訓練，邊緣計算服務器負責所轄區域內用戶的多輪更新并向云端聯邦學習子系統發送更新后的模型梯度信息；(2)邊緣計算服務器也采用截斷的方式完成本地模型訓練，云端聯邦學習子系統負責多個邊緣計算服務器的梯度更新；(3)訓練到達收斂期時，分別對邊緣計算服務器所轄區域內用戶設備和云端聯邦學習子系統負責的多個邊緣計算服務器實施截斷節點的補償，形成全局聯邦學習模型。該方法存在的不足之處是：由于用戶需要直接給邊緣計算服務器上傳模型梯度信息，由此誠實但好奇的邊緣計算服務器可進行反推攻擊，導致用戶的隱私泄露；同時，由于用戶需要將全部的本地模型梯度上傳給邊緣計算服務器，由此占用了大量的通信帶寬，導致本地模型梯度在傳輸過程中的通信開銷過大。因此，該方法不僅泄露了用戶隱私而且增加了通信成本。

發明內容

本發明的目的在于針對上述已有技術的不足，提出一種基于差分隱私和量化的聯邦學習全局模型訓練方法，用于解決聯邦學習中上傳本地模型梯度時產生的隱私泄露、通信成本大和計算開銷大的問題。