[發明專利]一種降低通信成本的神經網絡端云協同訓練系統

在審

• 申請號: 202010570373.8
• 申請日: 2020-06-19
• 公開（公告）號: CN111736999A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 徐沐霖;梁龍飛;薛向陽;李斌
• 申請（專利權）人: 復旦大學;上海新氦類腦智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

1.一種降低通信成本的神經網絡端云協同訓練系統，其特征在于，包括：

端側設備，包括端側訓練模塊以及與所述端側訓練模塊通信連接的端側通信模塊；

云側設備，包括與所述端側通信模塊通信連接的云側通信模塊以及與所述云側通信模塊通信連接的云側訓練模塊，

其中，所述端側訓練模塊中包含端側輸入接口、端側網絡層以及端側輸出接口，

所述云側訓練模塊中包含云側輸入接口、云側網絡層以及云側輸出接口，

所述端側訓練模塊與所述云側訓模塊構成完整的神經網絡，所述神經網絡的重量級部分放置在所述云側訓練模塊中，所述神經網絡的輕量級部分放置在所述端側訓練模塊中，

所述端側通信模塊與所述云側通信模塊中均包含一個編碼器和一個解碼器。

2.根據權利要求1所述的降低通信成本的神經網絡端云協同訓練系統，其特征在于：

其中，所述端側設備與所述云側設備位于不同服務器中。

3.根據權利要求1所述的降低通信成本的神經網絡端云協同訓練系統，其特征在于：

其中，當所述神經網絡進行前向傳播時，輸入數據從所述端側輸入接口輸入，經過所述端側網絡層前向傳播后通過所述端側輸出接口將端側根節點的張量傳輸至所述端側通信模塊進行壓縮編碼后再傳輸至所述云側通信模塊進行解碼，解碼后的所述端側根節點的張量通過所述云側輸入接口輸入并作為云側葉節點的張量，該云側葉節點的張量經過所述云側網絡層繼續前向傳播后得到輸出數據，并通過所述云側輸出接口輸出該輸出數據。

4.根據權利要求1所述的降低通信成本的神經網絡端云協同訓練系統，其特征在于：

其中，當所述神經網絡進行反向傳播時，所述云側葉節點的梯度傳輸至所述云側通信模塊，并通過所述云側通信模塊壓縮編碼后傳輸至所述端側通信模塊進行解碼，解碼后的所述云側葉節點的梯度通過所述端側輸出接口進入所述端側網絡層并替代所述端側根節點的空梯度后繼續進行反向傳播。