[發(fā)明專利]一種邊緣環(huán)境下的深度神經(jīng)網(wǎng)絡(luò)推斷方法及裝置

在審

• 申請?zhí)枺?/td>: 202110366585.9
• 申請日: 2021-04-06
• 公開（公告）號: CN112862083A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計）人: 單明慧;張勝;陸桑璐
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04
• 代理公司: 南京蘇高專利商標事務(wù)所(普通合伙) 32204
• 代理人: 李淑靜

1.一種邊緣環(huán)境下的深度神經(jīng)網(wǎng)絡(luò)推斷方法，其特征在于，所述方法包括以下步驟：

(1)基于深度神經(jīng)網(wǎng)絡(luò)DNN的拓撲結(jié)構(gòu)獲得各個計算層、各個計算層的分支信息、各個計算層輸入數(shù)據(jù)的尺寸，并基于一遍DNN推斷過程獲得各個計算層的每個分支的計算時間；

(2)獲取環(huán)境配置信息，包括參與推斷的邊緣設(shè)備數(shù)量以及邊緣設(shè)備之間的網(wǎng)絡(luò)帶寬；

(3)根據(jù)計算層輸入數(shù)據(jù)的尺寸、參與推斷的邊緣設(shè)備數(shù)量、邊緣設(shè)備之間的網(wǎng)絡(luò)帶寬以及每個分支的計算時間，預(yù)測分配到每個邊緣設(shè)備上的分支的總消耗時間；

(4)對計算層的多個分支，按分支的計算時間由大到小的順序?qū)Ψ种е饌€處理，將分支分配到目前總消耗時間的預(yù)測值最小的邊緣設(shè)備上去，并更新每個邊緣設(shè)備上所分配到的分支標號以及總消耗時間的預(yù)測值；

(5)對所有計算層執(zhí)行步驟(3)-步驟(4)的操作，完成DNN在邊緣設(shè)備上的分割與推斷。

2.根據(jù)權(quán)利要求1所述的邊緣環(huán)境下的深度神經(jīng)網(wǎng)絡(luò)推斷方法，其特征在于，所述步驟(3)包括：

(3-1)根據(jù)計算層輸入數(shù)據(jù)的尺寸以及參與推斷的邊緣設(shè)備數(shù)量num，基于下式得到第i層需要傳輸?shù)闹虚g數(shù)據(jù)：D_trans＝d_i+d_i+1/num，其中d_i為第i層輸入數(shù)據(jù)尺寸，d_i+1為第i+1層輸入數(shù)據(jù)尺寸；

(3-2)根據(jù)第i層需要傳輸?shù)闹虚g數(shù)據(jù)D_trans以及邊緣設(shè)備之間的網(wǎng)絡(luò)帶寬W，基于下式得到中間數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸時間：T₁＝D_trans/W；

(3-3)將所有邊緣設(shè)備劃分為一個主持設(shè)備和若干個協(xié)助設(shè)備，主持設(shè)備編號為0，協(xié)助設(shè)備編號從1依次遞增，其中主持設(shè)備負責(zé)DNN的分割，并把分割后的任務(wù)分發(fā)給協(xié)助設(shè)備，協(xié)助設(shè)備負責(zé)執(zhí)行分發(fā)給自身的任務(wù)并返回結(jié)果至主持設(shè)備；

(3-4)對于主持設(shè)備，記第i層分配到主持設(shè)備上的分支集合為S_i0，S_i0中所有分支對應(yīng)的計算時間之和記為Tc_i0，則第i層在主持設(shè)備上總的消耗時間Ta_i0的預(yù)測值為：Ta_i0＝Tc_i0；

(3-5)對于協(xié)助設(shè)備，記第i層分配到協(xié)助設(shè)備j上的分支集合為S_ij，則S_ij中所有分支對應(yīng)的計算時間之和記為Tc_ij，根據(jù)下式得到第i層在協(xié)助設(shè)備j上總的消耗時間Ta_ij的預(yù)測值：Ta_ij＝Tc_ij+T₁。

3.根據(jù)權(quán)利要求2所述的邊緣環(huán)境下的深度神經(jīng)網(wǎng)絡(luò)推斷方法，其特征在于，所述步驟(3-3)中將所有邊緣設(shè)備劃分為一個主持設(shè)備和若干個協(xié)助設(shè)備包括：

在所有邊緣設(shè)備計算能力均相同的情況下，選擇提交任務(wù)的邊緣設(shè)備作為主持設(shè)備，其他邊緣設(shè)備為協(xié)助設(shè)備；

在所有邊緣設(shè)備計算能力有所不同的情況下，首先找出計算能力最強的邊緣設(shè)備，確定其運行整個DNN模型的最短消耗時間，然后求取當(dāng)前邊緣設(shè)備運行DNN的時間與該最短消耗時間的差值，當(dāng)該差值大于第一層輸入在網(wǎng)絡(luò)中的傳輸時間時，則將這臺當(dāng)前邊緣設(shè)備作為主持設(shè)備。

4.根據(jù)權(quán)利要求1所述的邊緣環(huán)境下的深度神經(jīng)網(wǎng)絡(luò)推斷方法，其特征在于，所述步驟(4)還包括：進行特殊條件判斷，在所有邊緣設(shè)備計算能力相同時，假如將當(dāng)前分支分配給目前預(yù)測消耗時間第二長的邊緣設(shè)備之后，該邊緣設(shè)備還沒有變成預(yù)測消耗時間最長的邊緣設(shè)備，就將該分支分配到目前預(yù)測消耗時間第二長的邊緣設(shè)備上去。