[發明專利]一種基于邊緣設備的分布式神經網絡訓練系統

有效

• 申請號: 202110544084.5
• 申請日: 2021-05-19
• 公開（公告）號: CN113282411B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 黃鑌;蔡嘉偉;金怡;鄭立榮;鄒卓;環宇翔;梁龍飛
• 申請（專利權）人: 復旦大學;上海新氦類腦智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/063;G06N3/08
• 代理公司: 無錫經誠知識產權代理事務所(普通合伙) 32504
• 代理人: 丁雨燕

1.一種基于邊緣設備的分布式神經網絡訓練系統，其特征在于，包括用于模型計算的worker和用于維護和更新模型的PS，所述worker與所述PS構成集群；

在所述集群中，以所述PS作為多源中央節點，以所述worker作為計算邊緣節點，每個所述worker與每個所述PS構成單一連接用于模型參數的傳遞；

以集群訓練step頻率最大的分配原則對所述worker和所述PS進行配置；

所述worker與所述PS的選擇滿足如下條件：

a.所述集群訓練step頻率最大化，如下式：

p(S,α,β)＝max(f)

其中，S表示模型大小，α表示集群中各設備計算性能，β表示網絡帶寬，f表示集群頻率；

b.所述worker與所述PS之間的通信滿足最低寬帶需求，如下式：

其中，表示兩者之間的最低寬帶，分別表示第i個Worker與第j個PS之間其相互上下行可用的網絡帶寬，θ_jS表示兩者之間的通信傳輸參數大小，fⁱ表示第i個woker的更新頻率；

所述集群頻率f為所述集群下worker群頻率的累加，如下式：

其中，表示完整的訓練step頻率耗時，fⁱ表示worker群頻率；

所述完整的訓練step頻率耗時由所述worker計算耗時T_WK、更新參數過程中的最長傳輸時間T_com和所述PS更新參數最長耗時T_PS組成，如下式：

則，

其中，i表示第i個Worker，j表示第j個PS；

第i個所述Worker計算過程耗時由在S大小的計算任務下根據自身的計算性能完成計算任務用時和自身計算外所產生的延遲耗時構成，如下式：

第j個PS更新參數最長耗時由在θ_jS大小的計算任務分配下以的計算性能需要用時和自身除去學習任務計算之外的耗時構成，如下式：

所述PS與所述worker對模型參數上下行的耗時如下式：

其中，2θ_jS表示Worker對此PS兩次傳輸計算任務的大小。

2.根據權利要求1所述的一種基于邊緣設備的分布式神經網絡訓練系統，其特征在于，所述集群為基于IoT邊緣設備進行部署的分布式訓練集群。

3.根據權利要求1所述的一種基于邊緣設備的分布式神經網絡訓練系統，其特征在于，所述集群內異構系統設備采用Docker容器技術來屏蔽各個異構設備之間底層架構和操作系統之間的差異性，確保分布式系統在邊緣端的快速部署，并能夠完整穩定運行。