[發明專利]一種邊-端協同梯度壓縮聚合方法以及裝置

在審

• 申請號: 202011361273.0
• 申請日: 2020-11-27
• 公開（公告）號: CN112418440A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 孫遠;李振宇;黃韜
• 申請（專利權）人: 網絡通信與安全紫金山實驗室
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F17/16
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 賀翔

本發明公開了一種邊?端協同梯度壓縮聚合方法以及裝置，屬于機器學習領域，其中邊?端協同梯度壓縮聚合方法包括：等待當次訓練迭代開始；根據當前的迭代次數端設備和邊緣服務選擇梯度壓縮聚合模式；根據所述梯度壓縮矩陣進行梯度壓縮與近似梯度計算；該邊?端協同梯度壓縮聚合方法通過在梯度壓縮、解壓過程使用了基于近似梯度的邊?端協同梯度壓縮矩陣計算方法，實現了梯度壓縮矩陣計算與前、后向傳播的并行，不僅減少了串行插入到端設備后向傳播與模型更新操作之間集合通信次數，又也減少了端設備上的計算量，有效提升了面向網絡邊緣的分布式模型訓練的速度。

技術領域

本發明涉及機器學習技術領域，特別涉及一種邊-端協同梯度壓縮聚合方法以及裝置。

背景技術

隨著移動計算、物聯網、邊緣計算等技術的發展，越來越多的集成感知、通信與計算能力的端設備被部署到了網絡邊緣，并在網絡邊緣產生了大量的數據。思科預計到2021年在網絡邊緣產生的數據將達到近850ZB(十萬億億字節)，而同期全球數據中心的流量總和也只能達到20.6ZB。此外，由于這些網絡邊緣產生的數據分散存儲在各種端設備中，如果將這些數據聚合到一處(如云數據中心或者性能較強的邊緣服務器)做模型訓練，不僅消耗大量的網絡帶寬，更會增加端設備的數據隱私與安全風險。

針對這一問題，人們提出直接在網絡邊緣做分布式模型訓練。分布式模型訓練是一個迭代式優化過程，每一個訓練迭代一般包含前向傳播、后向傳播、梯度聚合、模型更新四個串行步驟。與單機集中式模型訓練相比，分布式模型訓練需要引入了額外的梯度聚合操作，以保證各端設備模型的最終一致性，這不可避免地增加了分布式模型訓練時間。為此，人們提出通過壓縮梯度，來減少數據傳輸量，從而加速分布式模型訓練。

當引入梯度壓縮機制后，每個訓練迭代變成前向傳播、后向傳播、梯度壓縮聚合、模型更新四個串行步驟。現有的梯度壓縮方法一共分成六個串行執行的步驟。第一步，在每個節點上根據當前迭代的梯度值G_t(記t為當前迭代次數)和上一次迭代的壓縮梯度Q_t-1計算出矩陣P_t，即P_t＝G_tQ_t-1(如果是第一次迭代，則將Q_t-1設置為隨機矩陣)；第二步，所有節點做集合通信，利用集合通信函數All Reduce計算所有節點上的P_t的平均值(記為)；第三步，在每個節點上采用Gram-Schmidt過程對做正交化，獲取梯度壓縮矩陣第四步，在每個節點上利用梯度壓縮矩陣對當前迭代的梯度值G_t進行壓縮，獲取壓縮梯度Q_t，即P_t＝G_tQ_t-1；第五步，所有節點做集合通信，利用集合通信函數All Reduce計算所有節點上的壓縮矩陣Q_t的平均值(記為)；第六步，在每個節點上根據梯度壓縮矩陣和壓縮矩陣均值計算平均近似梯度即

在上述的方法中，整個梯度壓縮聚合過程(從第一步到第六步)是串行插入到節點的后向傳播與模型更新操作之間，需要進行多次集合通信(即第二步和第五步)與矩陣計算(即第一、三、四、六步)，不可避免地增加了分布式模型訓練時間。

發明內容

為了解決現有的梯度壓縮聚合時間長的問題，本發明提供一種能夠有效減少梯度壓縮聚合時間的方法以及裝置。

為了實現上述目的，本發明第一方面提供一種邊-端協同梯度壓縮聚合方法，包括以下步驟：

等待當次訓練迭代開始；

根據當前的迭代次數端設備和邊緣服務選擇梯度壓縮聚合模式；其中，所述梯度壓縮聚合模式包括第一模式：等待向后傳播結束，再在端設備中進行基于原始梯度的梯度壓縮矩陣計算；第二模式：在邊緣服務器中進行基于近似梯度的邊-端協同梯度壓縮矩陣計算，然后等待后向傳播結束；

根據所述梯度壓縮矩陣進行梯度壓縮與近似梯度計算。