[發明專利]分布式卷積神經網絡細粒度的參數傳輸調度方法及裝置有效
| 申請號： | 202110936232.8 | 申請日： | 2021-08-16 |
| 公開（公告）號： | CN113472597B | 公開（公告）日： | 2022-07-22 |
| 發明（設計）人： | 曾榮飛;姜珊;王興偉 | 申請（專利權）人： | 東北大學 |
| 主分類號： | H04L41/0823 | 分類號： | H04L41/0823;H04L41/14 |
| 代理公司： | 北京科領智誠知識產權代理事務所(普通合伙) 11782 | 代理人： | 陳士騫 |
| 地址： | 110819 遼寧*** | 國省代碼： | 遼寧;21 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 分布式 卷積 神經網絡 細粒度 參數 傳輸 調度 方法 裝置 | ||
1.一種分布式卷積神經網絡細粒度的參數傳輸調度方法，其特征在于，所述方法包括：
根據分布式卷積神經網絡底層計算圖依賴關系、資源關聯圖及網絡屬性確認接收操作的優先執行順序，并生成操作-優先級映射表，所述資源關聯圖為與每個操作相關聯的資源標簽的計算圖，所述資源標簽包括通信與計算；
根據所述操作-優先級映射表、以及每個接收操作相關聯的通信/計算依賴關系，生成參數-優先級映射表；
建立參數服務器與每個計算節點之間的至少一個數據流，并為每個數據流分配唯一標識信息，根據所述標識信息生成通道-優先級映射表；
基于接收到的參數發送請求，分別查找所述參數-優先級映射表和所述通道-優先級映射表，根據所述參數的優先級分配相應優先級的網絡流，將所述參數發送至網絡設備中；
根據每個操作的執行時間，計算所有操作的執行時間上限；
根據所述資源關聯圖中的資源標簽，以及操作執行的并行性，計算操作執行時間下限；
根據所述操作執行時間上限、操作執行時間下限以及完成一個迭代的計劃完成時間計算優先級的調度效率；
根據所述操作執行時間上限、操作執行時間下限量化所述計算圖和參數優先級的性能收益；
計算所述操作執行時間上限時，采用下述公式：
其中，Ucomplete為操作執行時間上限，G是計算圖，Time是每個操作的執行時間，op為每個操作；
計算所述操作執行時間下限時，采用下述公式：
其中，Lcomplete為操作執行時間下限，D為資源關聯集，會參考所有的操作將資源標簽分配給資源關聯子集；
計算調度效率采用下述公式：
其中，E(G,Time,m)為調度效率，m為完成一個迭代的計劃完成時間；
計算性能收益采用下述公式：
2.根據權利要求1所述的方法，其特征在于，根據分布式卷積神經網絡底層計算圖依賴關系、資源關聯圖及網絡屬性確認接收操作的優先執行順序包括：
判斷網絡屬性是否滿足預設傳輸條件；
若滿足，則在獲取所述計算圖依賴關系后，確定與每個操作有依賴關系的節點數量；
根據所述與每個操作有依賴關系的節點數量及資源關聯圖確定接收操作的優先執行順序。
3.根據權利要求1所述的方法，其特征在于，建立參數服務器與每個計算節點之間的至少一個數據流，并為每個數據流分配唯一標識信息，根據所述標識信息生成通道-優先級映射表包括：
建立所述參數服務器與每個計算節點之間的兩個數據流，分別為高流和低流；
分別為高流和低流分配唯一標識信息；
將優先級執行順序劃分為兩部分，為優先級相對高的分配高流傳輸，為優先級相對低的分配低流傳輸；
根據所述標識信息、優先級與高流/低流的對應關系生成通道-優先級映射表。
4.根據權利要求1所述的方法，其特征在于，基于接收到的參數發送請求，分別查找所述參數-優先級映射表和所述通道-優先級映射表，根據所述參數的優先級以及通道，將所述參數發送至網絡設備中包括：
獲取每個操作的執行時長，并將所述每個操作的執行時長發送給時間預測模塊；
由所述時間預測模塊根據執行時長統計每個操作的運行時間，生成時間預測表，并將所述時間預測表發送給排序分配模塊；
由所述排序分配模塊根據參數-優先級映射表為每個計算節點的操作分配優先級，將操作和通道-優先級映射表發送到執行模塊；
由所述執行模塊將優先級列表作為輸入，并在所述分布式卷積神經網絡傳輸中執行優先級順序。
5.根據權利要求4所述的方法，其特征在于，所述方法還包括：
在所述分布式卷積神經網絡傳輸中按所述優先級順序執行操作時，須等待其依賴關系完成后才能繼續執行后續操作。
6.一種分布式卷積神經網絡細粒度的參數傳輸調度裝置，其特征在于，所述裝置包括：
第一計算單元，用于根據分布式卷積神經網絡底層計算圖依賴關系、資源關聯圖及網絡屬性確認接收操作的優先執行順序；
第一生成單元，用于生成操作-優先級映射表，所述資源關聯圖為與每個操作相關聯的資源標簽的計算圖，所述資源標簽包括通信與計算；
第二生成單元，用于根據所述操作-優先級映射表、以及每個接收操作相關聯的通信/計算依賴關系，生成參數-優先級映射表；
建立單元，用于建立參數服務器與每個計算節點之間的至少一個數據流，并為每個數據流分配唯一標識信息，根據所述標識信息生成通道-優先級映射表；
處理單元，用于基于接收到的參數發送請求，分別查找所述參數-優先級映射表和所述通道-優先級映射表，根據所述參數的優先級分配相應優先級的網絡流，將所述參數發送至網絡設備中；
第二計算單元，用于根據每個操作的執行時間，計算所有操作的執行時間上限；
第三計算單元，用于根據所述資源關聯圖中的資源標簽，以及操作執行的并行性，計算操作執行時間下限；
第四計算單元，用于根據所述操作執行時間上限、操作執行時間下限以及完成一個迭代的計劃完成時間計算優先級的調度效率；
第五計算單元，用于根據所述操作執行時間上限、操作執行時間下限量化所述計算圖和參數優先級的性能收益；
第二計算單元計算所述操作執行時間上限時，采用下述公式：
其中，Ucomplete為操作執行時間上限，G是計算圖，Time是每個操作的執行時間，op為每個操作；
第三計算單元計算所述操作執行時間下限時，采用下述公式：
其中，Lcomplete為操作執行時間下限，D為資源關聯集，會參考所有的操作將資源標簽分配給資源關聯子集；
第四計算單元計算調度效率采用下述公式：
其中，E(G,Time,m)為調度效率，m為完成一個迭代的計劃完成時間；
第五計算單元計算性能收益采用下述公式：
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于東北大學，未經東北大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110936232.8/1.html，轉載請聲明來源鉆瓜專利網。
