[發明專利]一種降低通信成本的神經網絡端云協同訓練系統

在審

• 申請號: 202010570373.8
• 申請日: 2020-06-19
• 公開（公告）號: CN111736999A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 徐沐霖;梁龍飛;薛向陽;李斌
• 申請（專利權）人: 復旦大學;上海新氦類腦智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

本發明提供了一種降低通信成本的神經網絡端云協同訓練系統，包括：端側設備，包括端側訓練模塊以及與端側訓練模塊通信連接的端側通信模塊；云側設備，包括與端側通信模塊通信連接的云側通信模塊以及與云側通信模塊通信連接的云側訓練模塊，其中，端側訓練模塊中包含端側輸入接口、端側網絡層以及端側輸出接口，云側訓練模塊中包含云側輸入接口、云側網絡層以及云側輸出接口，端側訓練模塊與云側訓模塊構成完整的神經網絡，神經網絡的重量級部分放置在云側訓練模塊中，神經網絡的輕量級部分放置在端側訓練模塊中，端側通信模塊與云側通信模塊中均包含一個編碼器和一個解碼器。

技術領域

本發明屬于人工智能領域，具體涉及一種降低通信成本的神經網絡端云協同訓練系統。

背景技術

深度學習已經是目前AI領域研究問題的主要手段，神經網絡則是深度學習中的核心。神經網絡的學習過程就是修改網絡權重使得網絡更加擬合輸入數據到輸出結果的過程。若要修改網絡權重，我們首先需要計算計算圖的根節點對每個神經元的導數。但是每次重復計算十分浪費時間，所以通常計算圖可以保存中間節點的梯度，而多層神經網絡可以看作是復合函數，所以可以用鏈式法則來計算根節點對每個神經元的導數。

隨著5G技術的迅猛發展，云計算和邊緣計算逐日走向現實，云與端、端與端之間的協同工作是必不可少的。常見的神經網絡協同計算主要為分布式并行計算，很少有出現在兩臺設備中進行串行的協同訓練方法，將神經網絡串行的分布在端云兩側，網絡的輕量級部分保留在端側，重量級部分安置在云側，可以大大減輕端側設備的計算壓力，在輕量級的端側實現復雜的網絡。

而將網絡拆分至端云兩側意味著前向傳播和反向傳播需要通過信道。而在通常的訓練過程中，前向傳播和反向傳播會存在數千次至數萬次之多，倘若每次傳遞的張量和梯度較為龐大，則無疑對通信成本造成了不小的壓力。

文章Candes E J,Wakin M B.An Introduction To Compressive Sampling[J].IEEE Signal Processing Magazine,2008,25(2):p.21-30.提出了壓縮感知的方法，壓縮感知基于信號的可壓縮性,通過低維空間、低分辨率、欠Nyquist采樣數據的非相關觀測來實現高維信號的感知。但該方法中只能單方向進行信號壓縮和重建，不能反向進行信號壓縮和重建。

文章Zhou G,Fan Y,Cui R,et al.Rocket Launching:A Universal andEfficient Framework for Training Well-performing Light Net[J].2017.提出了一種模型蒸餾的方法，端側擁有較小的網絡模型，云側擁有較大的網絡模型，端云的網絡之中共用一部分網絡層，共用的部分均在端側。輸入信號在端側經過共用層之后的特征，一部分發送至云側傳遞到云側的網絡，一部分在本地的網絡繼續前向傳播，在云側的信號可以反過來指導端側網絡的訓練。但該方法中并未設有壓縮編碼和解碼來進行數據的傳輸，在通常的訓練過程中，前向傳播和反向傳播會存在數千次至數萬次之多，當每次傳遞的張量和梯度較為龐大時，會對通信成本造成很大的壓力。

文章Mcmahan H B,Moore E,Ramage D,et al.Federated Learning of DeepNetworks using Model Averaging[J].2016.是谷歌提出的多模型參數聚合算法，也是聯邦學習的基礎。聯邦學習是分布式學習的一種，它從保護隱私的角度實現了多臺設備共同學習的方法。但它的方法中各個設備都有獨立且相同的神經網絡，每個設備中有自己的數據，訓練后將網絡參數上傳，數據不上傳。該方法屬于并行的方法，端側擁有完整的神經網絡，容易在計算時造成端側的計算壓力過大。

發明內容

本發明是為了解決上述問題而進行的，目的在于提供一種降低通信成本的神經網絡端云協同訓練系統。