[發明專利]邊緣計算下異構處理器加速多出口DNN推理的方法

在審

• 申請號: 202210282401.5
• 申請日: 2022-03-22
• 公開（公告）號: CN114662661A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 東方;蔡光興;沈典;王慧田;張競慧
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 張天哲

1.邊緣計算下異構處理器加速多出口DNN推理的方法，其特征在于，包括如下步驟：

步驟1，在已有的數據集上，分析深度神經網絡各層的輸出特征圖的數據量大小，對各層分支出口的分類能力、在異構處理器上的計算開銷差異以及中間特征的數據量傳輸延遲進行量化表示，構建量化模型；

步驟2，針對不同的處理器負載情況下，即，在不同的CPU利用率、GPU利用率情況下，在步驟1的“量化模型”、“各層分支出口的分類能力”以及“中間特征的數據量傳輸延遲”三者之間決策，從而確定最終基于異構處理器的推理組合；

步驟3，結合步驟2中對傳輸階段的中間特征圖處理方法，將深度神經網絡部署至終端異構處理器的環境下，CPU層實時監測系統中的設備資源負載情況與當前處理器的計算能力，以最小化時延為目標對多路徑的深度學習推理模型進行切分，將計算分割為“GPU-CPU”兩部分，按照最佳性能將不同網絡層的推理任務分別卸載到CPU或GPU上，實現在線的推理加速。

2.如權利要求1所述的邊緣計算下異構處理器加速多出口DNN推理的方法，其特征在于：所述步驟1的具體內容是：

步驟101，分析卷積層、池化層、激勵層和全連接層的內部參數結構，參數包括卷積核窗口大小、池化窗口大小、滑動步長、激勵函數和輸出神經元個數，計算各類型層的浮點運算量；

步驟102，在實際環境中，測試各類網絡層在設備上的執行情況，修改層的參數改變浮點運算量，同時改變系統CPU利用率、統計各種情況下的時間開銷，制作數據集用于訓練預測推理耗時的回歸模型；

步驟103，在深度神經網絡的每個卷積層后添加分類器作為淺層出口，與模型主干同時訓練，淺層出口使用獨立的損失函數，模型主干使用聯合損失函數；

步驟104，訓練時使用交叉驗證法，獲得每個出口在不同驗證集上的準確率，假設深度神經網絡共有n-1個備選出口，其中不包含主干出口，進入分支的樣本都有一定的概率達到置信度，可以退出網絡，各分支出口的退出概率用先驗統計概率p_i來表示，P＝{p₀，p₁，p₂，p₃，...，p_n-1，p_n}，假設p₀為虛擬出口，p₀＝0；p_n表示多出口網絡主干網絡的出口退出概率，p_n＝1；設置μ_i為執行第i個網絡層的概率，f(μ_i，p_i)為執行第i個分支退出的概率，其中f(μ_i，p_i)＝μ_i*p_i；

步驟105，從初始輸入到每個出口所經過的計算層，形成n條推理路徑，其中，最長的路徑為模型主干，使用步驟102的回歸模型所預測主干各網絡層使用CPU/GPU計算所需的時間開銷分別為即：各出口路徑的網絡層使用CPU/GPU計算所需的時間開銷分別為即：令模型推理任務執行到第i個網絡層后的中間數據量大小DS_i，其中i∈[0,n],DS_i從GPU到CPU的傳輸延遲為：其中BW_pcie表示PCIE帶寬。