[發(fā)明專利]一種基于核心數據集的聯(lián)邦學習通信量優(yōu)化方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011240064.0
• 申請日: 2020-11-09
• 公開（公告）號: CN112364913A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設計）人: 肖春華;李開菊
• 申請（專利權）人: 重慶大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/06;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及聯(lián)邦機器學習領域，公開了一種基于核心數據集的聯(lián)邦學習通信量優(yōu)化方法及系統(tǒng)。本發(fā)明中，首先，每個終端用戶并行地從本地訓練數據中篩選出核心數據，云中心根據設置的稀疏化比例構建稀疏化的全局模型，每個終端用戶根據其篩選出的本地核心數據進行本地模型訓練，得到本地模型更新。然后，為了全局模型更加適應本地核心數據，云中心根據聚集本地模型更新得到的全局模型更新，對全局模型的網絡結構進行調整，其中包括移除不重要的連接和添加重要連接兩個步驟。最后，云中心分發(fā)調整之后的全局模型給每個終端用戶，迭代以上步驟，直至全局模型收斂。本發(fā)明通過從終端用戶篩選核心數據，部署適配的稀疏化網絡模型，減少了終端用戶與云中心模型參數的上傳，從本質上解決了聯(lián)邦學習技術中，終端用戶與云中心頻繁傳遞高維更新參數所導致的高通信代價問題。

技術領域

本發(fā)明涉及聯(lián)邦機器學習領域，更具體地，涉及一種基于核心數據集的聯(lián)邦學習通信量優(yōu)化方法及系統(tǒng)，用于解決聯(lián)邦學習技術中終端用戶/設備與云中心頻繁傳遞高維更新參數所導致的高通信代價問題。

背景技術

機器學習作為人工智能領域的一個重要分支，被成功且廣泛的應用于模式識別、數據挖掘和計算機視覺等各個領域。由于終端設備計算資源受限，目前對于機器學習模型的訓練通常采用基于云的方式，在這種方式中，終端設備所收集的數據，如圖片、視頻，或個人位置信息，必須全部上傳至云中心，并由云中心集中完成模型的訓練，得到推理模型。然而，上傳用戶的敏感數據會泄露其隱私信息，隨著用戶隱私意識的增強，越來越多的用戶不愿共享其隱私數據參與模型的訓練。從長遠來看，這嚴重阻礙了機器學習技術的發(fā)展和應用。

因此，為了保護用戶的敏感數據，同時又不影響機器學習模型的訓練，聯(lián)邦學習應運而生。在聯(lián)邦學習環(huán)境中，終端用戶不用上傳其本地敏感數據至云中心，而只需共享其本地模型更新參數，云中心與終端用戶多次交互，直至全局模型收斂，既保護了用戶的敏感數據，又得到了最終的可用模型。

由于在聯(lián)邦學習環(huán)境中，終端用戶與云中心需要多輪交互才能獲得目標精度的全局模型。那么，對于復雜的模型訓練，如深度學習模型訓練，每次模型更新可能包含數百萬個參數，模型更新的高維性將耗費大量的通信成本，甚至成為一個模型訓練瓶頸。此外，由于終端用戶/設備的異構性，每個設備網絡狀態(tài)的不可靠性以及互聯(lián)網連接速度的不對稱性，如上傳速度遠小于下載速度，導致終端用戶上傳本地更新參數的延遲，都會使模型訓練瓶頸進一步惡化，因此，為了提高聯(lián)邦學習模型訓練性能，必須提高其通信效率。

目前，為了提高聯(lián)邦學習的通信效率問題，國內外研究學者紛紛對其進行了大量研究，并提出了許多有效的通信優(yōu)化方法。這些方法主要是通過考慮模型參數的冗余特性，對本地模型更新參數進行稀疏化、輕量化或者知識蒸餾等模型壓縮操作，減少冗余參數的上傳，使上傳的模型更新更加緊致，從而達到減少通信量的目的。然而，這些方法都是從模型參數的角度考慮通信量的減少，而沒有從本質上解決該問題。眾所周知，模型參數是根據本地數據訓練得到的，而數據本身具有冗余性，因此，可以從數據本身出發(fā)，通過提取重要數據進行模型訓練，從本質上減少冗余參數的上傳，從而達到減少通信量的目的，但目前的通信量減少方法僅僅只考慮了模型參數的冗余特性，而沒有考慮數據的冗余特性。同時，現有方法雖然對模型參數進行稀疏化或輕量化的操作，減少了冗余參數的上傳，但是他們對網絡模型本身也沒有進行操作，而模型本身也具有冗余特性。因此，在通信量減少的方法中，為了從本質上減少冗余參數的上傳，我們不僅要考慮數據的冗余特性，同時也要考慮模型本身的冗余性，而現有方法都沒有考慮這兩個特性。

綜合所述，為了彌補基于云訓練所造成的用戶敏感數據泄露以及模型可用性問題，聯(lián)邦學習應運而生。然而由于模型訓練參數的高維性以及聯(lián)邦學習環(huán)境中網絡的不可靠性，使得通信代價問題成為聯(lián)邦學習中基礎且重要的問題。雖然現有研究方法從減小通信量的角度提出了許多有效的通信優(yōu)化方法，但他們都是從模型參數出發(fā)考慮通信量的減少，而沒有從訓練數據和模型本身出發(fā)，考慮從本質上減少冗余參數上傳，因此，為了更好的解決聯(lián)邦學習的高通信代價問題，需要充分考慮訓練數據和模型本身的冗余特性，從本質上減少冗余參數的上傳，從而達到減少通信量的目的。