[發明專利]一種面向異構任務需求的聯邦學習訓練系統及方法

在審

• 申請號: 202210823547.6
• 申請日: 2022-07-13
• 公開（公告）號: CN115345316A
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 周睿婷;王若貝;陳晶
• 申請（專利權）人: 武漢大學日照信息技術研究院
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/04
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 肖明洲

本發明公開了一種面向異構任務需求的聯邦學習訓練系統及方法，將需求偏好權衡加入訓練的三個關鍵階段，即超參數預估階段、參與客戶端選擇階段以及模型聚合階段，同時在三個關鍵階段提升訓練質量，加快訓練速度。本發明結合了線性規劃和二次規劃建模，線性化技術，多凸優化算法，取整算法，貪心算法等，從理論上證明了其有效性和合理性。本發明保證在完成FL任務時間和精度硬性需求的前提下高效地完成差異化定制的FL任務。

技術領域

本發明屬于聯邦學習技術領域，涉及一種聯邦學習訓練系統及方法，具體涉及一種面向異構任務需求的聯邦學習任務訓練系統及方法。

背景技術

聯邦學習(FL)是一種保護隱私的分布式機器學習范式。它使得大量設備在不泄露數據隱私的前提下使用本地數據集共同訓練一個全局聯邦學習模型成為可能。FL最普遍的場景是，在每輪訓練中，大量客戶端的一個子集被選擇來使用本地數據對全局聯邦學習模型進行訓練，并將本地聯邦學習模型更新上傳到云上的中心服務器中進行聚合，得到新的全局聯邦學習模型。由于FL中的參與客戶端是大量擁有異構數據并且具有異構資源能力的客戶端，FL任務提高效率要克服的主要困難包括：統計異構性，即客戶端之間的數據分布為非平衡的和非獨立同分布的；客戶端異構性，即客戶端計算資源等能力各不相同，導致客戶端在完成訓練任務時的表現參差不齊。為了提高FL的訓練效率，更高效地完成訓練任務，需要在FL的訓練框架中從客戶端選擇方法上做出優化。目前常用的選擇機制包括隨機選擇機制等方法具有很大的優化空間。

進一步，從實際任務角度出發，很多FL任務需要在短時間內完成訓練，例如谷歌鍵盤的文本預測等訓練任務。FL任務一般是要求在規定時間內訓練一個機器學習模型達到規定的精度，因此衡量FL任務完成的好壞有兩個維度：完成時間和模型精度。而這兩個維度又是相互制約的。這是因為對于一個FL模型的訓練，提高精度通常是通過增加計算量來實現的，而增加計算量會消耗更多的能量和時間。完成時間和模型精度這兩個任務需求之間存在微妙的平衡點，而每個特定的FL任務對這兩個任務需求的側重點各不相同，比如相對于需要更高精度的智能醫生問診任務，需要快速收集數據做出反應的谷歌鍵盤文本預測任務顯然對訓練完成時間需求的偏好更高。在訓練過程中做出對完成時間和模型精度兩方面需求的權衡，能夠更好地優化資源配置，充分調動客戶端高效完成差異化任務，避免資源浪費或任務失敗。而目前的FL方法一般只選擇完成時間和模型精度兩個任務需求之一作為訓練的優化目標，并沒有將差異化的FL任務需求權衡作為前提整合到FL訓練優化框架中。

考慮異構任務需求的高效FL訓練框架需要將時間和精度平衡因子體現在整個訓練過程的關鍵步驟中，并對關鍵步驟做出改進，包括控制參數的選擇，每輪訓練客戶端的選擇，以及每輪的聚合過程?？紤]平衡問題的這些關鍵步驟的優化過程是難以建模的或者是NP-hard的問題，解決每一個步驟都需要精心設計建模方法和求解算法。

發明內容

為了解決上述問題，本發明提供了一種高效的面向聯邦學習異構任務需求的訓練系統及方法。FL任務到達之后，首先根據FL任務的完成時間和訓練精度硬性需求和任務對兩者的偏好，通過將問題建模為線性規劃問題，并設計相應求解算法，得到訓練總輪數、每輪訓練選擇客戶端個數、每輪訓練迭代次數三個控制參數的最優值。在三個最優控制參數的前提下，在每輪訓練中，根據訓練質量和數據質量兩種訓練質量衡量標準對客戶端選擇問題建模，并設計算法得到最優參與客戶端集合。每輪本地訓練結束后，設計聚合篩選規則進一步得到新一輪的最優全局聯邦學習模型。

本發明的系統所采用的技術方案是：一種面向異構任務需求的聯邦學習訓練系統，包括中心服務器、客戶端；

所述中心服務器，根據聯邦學習的任務要求C、ε、α預估訓練總輪數K、每輪訓練選擇客戶端個數M、每輪訓練迭代次數τ三個控制參數的最優值，其中，C為完成任務要求的最長時長，ε是聯邦學習模型損失和最小損失之間的差值，α表示時間和精度重要性偏好的權重指標，α∈[0,1]；

所述中心服務器，從每輪的候選客戶端集選出參與子集其中為0/1變量，表示本輪選擇該客戶端參與訓練，反之則表示本輪不選擇該客戶端；