[發明專利]一種面向分布式機器學習參數同步差異化數據傳輸方法

有效

• 申請號: 201911300999.0
• 申請日: 2019-12-17
• 公開（公告）號: CN110958187B
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 虞紅芳;周華漫;李宗航;蔡青青;孫罡
• 申請（專利權）人: 電子科技大學
• 主分類號: H04L12/851
• 分類號: H04L12/851;H04L29/06;G06F16/906;G06N20/00
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 陳選中

1.一種面向分布式機器學習參數同步差異化數據傳輸方法，其特征在于，包括以下步驟：

S1、根據等待同步的結構化梯度張量的模型結構特征，對等待同步的結構化梯度張量進行分塊處理及封裝操作，得到梯度數據塊報文；

S2、通過SANE算法對梯度數據塊報文中的梯度數據進行貢獻度估計，得到梯度數據塊報文中的梯度數據貢獻度值；

S3、根據梯度數據塊報文中的梯度數據貢獻度值，對梯度數據塊報文進行分類，并將分類后的報文采用差異化傳輸方式由發送端傳輸至接收端，通過接收端對梯度數據塊報文進行提取、數據存儲和數據重構，完成數據傳輸過程；

步驟S3包括以下步驟：

S31、計算分類閾值；

S32、根據梯度數據塊報文中的梯度數據貢獻度值對梯度數據塊報文進行排序，判斷梯度數據塊報文中的梯度數據貢獻度值是否大于分類閾值，若是，則跳轉至步驟S33，若否，則跳轉至步驟S34；

S33、標記梯度數據塊報文為重要梯度報文，采用可靠傳輸協議，并通過最高優先級的通道傳輸至接收端，并跳轉至步驟S35；

S34、標記梯度數據塊報文為非重要梯度報文，采用不可靠傳輸協議和非重要報文傳輸通道將非重要梯度報文傳輸至接收端；

S35、采用異步接收延遲更新策略，根據接收端接收到的梯度數據塊報文，提取并儲存梯度參數子數據塊，進行數據重構，完成數據傳輸過程。

2.根據權利要求1所述的面向分布式機器學習參數同步差異化數據傳輸方法，其特征在于，所述步驟S1包括以下步驟：

S11、判斷等待同步的結構化梯度張量是否為卷積神經網絡模型的卷積層參數張量，若是，則跳轉至步驟S12；若否，則跳轉至步驟S13；

S12、將等待同步的結構化梯度張量按照卷積核的大小劃分為梯度參數子數據塊，并跳轉至步驟S14；

S13、將等待同步的結構化梯度張量按照其預定義的塊大小劃分為梯度參數子數據塊，并跳轉至步驟S14；

S14、對梯度參數子數據塊進行消息報文封裝，并對其添加消息頭和按照傳輸協議添加數據報頭，得到梯度數據塊報文。

3.根據權利要求2所述的面向分布式機器學習參數同步差異化數據傳輸方法，其特征在于，所述步驟S14中在消息頭中順序添加以下信息：該梯度參數子數據塊所屬的梯度張量序號、該梯度參數子數據塊序號、該梯度參數子數據塊所屬梯度張量的第一個子塊序號、該梯度參數子數據塊所屬梯度張量的最后一個子塊序號、該梯度參數子數據塊所屬梯度張量的總字節數和該梯度參數子數據塊所屬梯度張量的位置。

4.根據權利要求1所述的面向分布式機器學習參數同步差異化數據傳輸方法，其特征在于，所述步驟S2中貢獻度的計算公式為：

其中，為分布式機器學習集群的第k個工作節點在第τ次進行參數同步操作時的第j個梯度參數子數據塊的貢獻度，α為平滑因子，n為子數據塊中梯度值的數量，g_i為子數據塊的第i個梯度值，為工作節點k上第j個子數據塊。

5.根據權利要求1所述的面向分布式機器學習參數同步差異化數據傳輸方法，其特征在于，所述步驟S34包括以下步驟：

S341、標記梯度數據塊報文為非重要梯度報文；

S342、根據梯度數據貢獻度值大小對非重要梯度報文劃分等級，并根據非重要梯度報文的等級確定各級別的非重要梯度報文的非重要報文傳輸通道；

S343、根據差異化的優先級，將每個等級的非重要梯度報文通過交換機相應的非重要報文傳輸通道和不可靠傳輸協議傳輸至接收端。

6.根據權利要求1所述的面向分布式機器學習參數同步差異化數據傳輸方法，其特征在于，所述步驟S35包括以下步驟：

S351、將通過接收端的可靠傳輸協議接收到的梯度數據塊報文放入靠通道緩沖區中，將通過不可靠傳輸協議接收到的梯度數據塊報文放入不可靠傳輸通道緩沖區；

S352、通過不可靠數據接收引擎從不可靠接收緩沖區獲取梯度數據塊報文，并對梯度數據塊報文進行解封裝操作，將得到梯度參數子數據塊存入數據緩沖區，并繼續獲取梯度數據塊報文；

S353、通過可靠數據接收引擎從可靠通道緩沖區獲取梯度數據塊報文，對梯度數據塊報文進行解封裝操作，將得到的梯度參數子數據塊存入數據緩沖區，并判斷重要梯度報文是否完全接收，若是，則跳轉至S354，若否，則繼續獲取梯度數據塊報文；

S354、對數據緩沖區的梯度參數子數據塊進行數據重構，還原原始結構化梯度張量，將缺失子塊對應的結構化梯度數據進行0填充；

S355、將重構完成的結構化梯度張量遞交上層模型，完成參數同步數據傳輸過程。