[發(fā)明專利]一種深度學習分布式框架用的數(shù)據(jù)交換方法與裝置有效
| 申請?zhí)枺?/td> | 201811130223.4 | 申請日： | 2018-09-27 |
| 公開（公告）號： | CN109343978B | 公開（公告）日： | 2020-10-20 |
| 發(fā)明（設計）人： | 趙旭東;景璐 | 申請（專利權）人： | 蘇州浪潮智能科技有限公司 |
| 主分類號： | G06F9/54 | 分類號： | G06F9/54 |
| 代理公司： | 北京連和連知識產(chǎn)權代理有限公司 11278 | 代理人： | 劉小峰 |
| 地址： | 215100 江蘇省蘇州市吳*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 深度 學習 分布式 框架 數(shù)據(jù) 交換 方法 裝置 | ||
1.一種深度學習分布式框架用的數(shù)據(jù)交換方法，其特征在于，包括以下步驟：
使每個計算單元持續(xù)生成待交換數(shù)據(jù)；
將所述待交換數(shù)據(jù)存入所述計算單元的緩沖區(qū)；
使用比例因子壓縮所述待交換數(shù)據(jù)的精度范圍；
根據(jù)處理器數(shù)量、計算模型層數(shù)量、反向傳播平均耗時、通信延遲中至少之一來確定交換閾值，并且所述交換閾值其中P為處理器數(shù)量，L為計算模型層數(shù)量，Eavg,b為第反向傳播過程平均耗時，α為通信延遲；
當所述緩沖區(qū)內(nèi)存儲的所述待交換數(shù)據(jù)達到所述交換閾值時，交換所述待交換數(shù)據(jù)。
2.根據(jù)權利要求1所述的方法，其特征在于，所述待交換數(shù)據(jù)為梯度參數(shù)。
3.根據(jù)權利要求1所述的方法，其特征在于，所述計算單元的參數(shù)包括以下至少之一：處理器數(shù)量、計算模型層數(shù)量、反向傳播平均耗時、通信延遲。
4.根據(jù)權利要求3所述的方法，其特征在于，所述通信延遲由單次通信的信息量決定。
5.根據(jù)權利要求1所述的方法，其特征在于，使用所述比例因子壓縮所述待交換數(shù)據(jù)的精度范圍包括：
使用所述比例因子正向處理所述待交換數(shù)據(jù)；
通過修改數(shù)據(jù)類型來壓縮處理過的所述待交換數(shù)據(jù)的精度。
6.根據(jù)權利要求5所述的方法，其特征在于，在所述待交換數(shù)據(jù)被交換之后，還執(zhí)行以下步驟：
通過修改數(shù)據(jù)類型來解壓縮處理過的所述待交換數(shù)據(jù)的精度；
使用所述比例因子對處理過的所述待交換數(shù)據(jù)進行逆向處理。
7.根據(jù)權利要求5所述的方法，其特征在于，所述比例因子由所述待交換數(shù)據(jù)的取值范圍與其數(shù)據(jù)類型的精度范圍之比決定。
8.一種深度學習分布式框架用的數(shù)據(jù)交換裝置，其特征在于，包括：
存儲器，存儲有可運行的程序代碼；
至少一個處理器，在運行所述存儲器存儲的所述程序代碼時執(zhí)行如權利要求1-7中任意一項所述的數(shù)據(jù)交換方法。
9.一種計算系統(tǒng)，其特征在于，包括多個計算單元和如權利要求8所述的數(shù)據(jù)交換裝置。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于蘇州浪潮智能科技有限公司，未經(jīng)蘇州浪潮智能科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201811130223.4/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
