[發(fā)明專利]一種面向計算資源異構(gòu)的聯(lián)邦學習訓練加速方法

有效

• 申請?zhí)枺?/td>: 202110556962.5
• 申請日: 2021-05-21
• 公開（公告）號: CN113191504B
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計）人: 何耶肖;李歡;章小寧;吳昊;范晨昱
• 申請（專利權(quán)）人: 電子科技大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/04;G06N3/08
• 代理公司: 北京正華智誠專利代理事務(wù)所(普通合伙) 11870
• 代理人: 李林合

本發(fā)明公開了一種面向計算資源異構(gòu)的聯(lián)邦學習訓練加速方法，通過判斷最快設(shè)備和最慢設(shè)備之間迭代次數(shù)差是否達到閾值，若達到閾值，則最快設(shè)備無需等待，直接利用梯度更新數(shù)值更新本地模型參數(shù)，然后下載最新的全局模型參數(shù)并得到最新的全局模型參數(shù)副本，通過額外梯度更新參數(shù)更新全局模型參數(shù)副本，并判斷與最新的全局模型參數(shù)間的損失函數(shù)值大小，若更新后的全局模型參數(shù)副本損失函數(shù)值更小，則用更新后的全局模型參數(shù)副本替換最新的全局模型參數(shù)。本發(fā)明對傳統(tǒng)的SSP并行同步機制提出相關(guān)適應(yīng)性改進，提高了計算資源的利用率，從而提高訓練效率，縮短整體訓練時間。

技術(shù)領(lǐng)域

本發(fā)明涉及聯(lián)邦學習技術(shù)領(lǐng)域，具體涉及一種面向計算資源異構(gòu)的聯(lián)邦學習訓練加速方法。

背景技術(shù)

近年來，隨著機器學習的迅速發(fā)展，在人們生活的各個領(lǐng)域興起了許多利用傳統(tǒng)技術(shù)難以實現(xiàn)的人工智能應(yīng)用，例如數(shù)據(jù)挖掘、圖像識別、自然語言處理、生物特征識別、搜索引擎、醫(yī)學診斷、檢測信用卡欺詐、證券市場分析、語音和手寫識別、戰(zhàn)略游戲和機器人等。機器學習是一種自動化分析模型構(gòu)建的數(shù)據(jù)分析方法，它使計算機無需進行顯式編程即可自主學習。作為一種數(shù)據(jù)驅(qū)動技術(shù)，機器學習需要大量的數(shù)據(jù)來進行訓練，以得出高性能模型。如今，隨著手機、平板和各式可穿戴設(shè)備的發(fā)展，數(shù)十億邊緣設(shè)備生成了大量用戶數(shù)據(jù)，根據(jù)International Data Corporation(IDC)的報告估計，到2025年，邊緣設(shè)備生成的數(shù)據(jù)將增加到79.4ZB。這對于機器學習來說是十分寶貴的數(shù)據(jù)資源。如果能夠?qū)@些儲存在邊緣設(shè)備上的數(shù)據(jù)加以利用，機器學習的相關(guān)技術(shù)和應(yīng)用有望得到進一步的發(fā)展。但是，為了訓練機器學習模型，傳統(tǒng)的方法是將邊緣設(shè)備收集的所有原始數(shù)據(jù)集中上傳到遠程數(shù)據(jù)中心進行統(tǒng)一訓練。這種方法需要消耗大量的通信資源來傳輸大量的數(shù)據(jù)，造成難以接受的高額成本。此外，隨著人們隱私意識的提高，許多人不愿意將用戶數(shù)據(jù)上傳到數(shù)據(jù)中心，而且通過通信網(wǎng)絡(luò)傳輸用戶數(shù)據(jù)也會帶來的用戶隱私泄露和數(shù)據(jù)安全的問題。同樣，這種集中式的訓練方式也不能應(yīng)用在金融等對數(shù)據(jù)安全高度敏感的領(lǐng)域。

為了保護數(shù)據(jù)隱私并減少通信資源開銷，近幾年人們提出了聯(lián)邦學習這一分布式訓練系統(tǒng)來替代集中式的訓練系統(tǒng)?，F(xiàn)如今，許多銀行、證券公司、醫(yī)療設(shè)備廠商和科技公司正大力發(fā)展聯(lián)邦學習，其安全性和實用性得到了廣泛驗證，聯(lián)邦學習的基本框架如圖1所示。

諸如智能手機，筆記本電腦，平板電腦等一組邊緣設(shè)備(也被稱作Client)使用其本地存儲的數(shù)據(jù)參與模型的分布式訓練過程。各個邊緣設(shè)備都保留一個模型的副本作為本地模型。連接所有邊緣設(shè)備的服務(wù)器維護一個全局模型并聚集來自各個邊緣設(shè)備的梯度更新來對全局模型進行更新。在訓練迭代中，每個邊緣設(shè)備使用其本地數(shù)據(jù)計算模型參數(shù)的梯度更新，然后將梯度更新上傳到服務(wù)器，然后將更新后的新的全局模型參數(shù)從服務(wù)器下載下來作為新的本地模型參數(shù)。這一過程中，各個邊緣設(shè)備僅將中間計算結(jié)果(即模型參數(shù)的梯度更新)共享給服務(wù)器，而無需上傳其本地存儲的原始數(shù)據(jù)，以此保護了數(shù)據(jù)的隱私性和安全性。另外，傳輸?shù)奶荻群湍Ｐ涂梢岳酶鞣N加密方法來進一步提升其安全性。