[發(fā)明專利]一種邊緣環(huán)境下的深度神經(jīng)網(wǎng)絡(luò)推斷方法及裝置

在審

• 申請?zhí)枺?/td>: 202110366585.9
• 申請日: 2021-04-06
• 公開（公告）號: CN112862083A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計）人: 單明慧;張勝;陸桑璐
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 李淑靜

本發(fā)明提出了一種邊緣環(huán)境下的深度神經(jīng)網(wǎng)絡(luò)推斷方法及裝置，將邊緣計算和DNN推斷的過程結(jié)合起來，在邊緣內(nèi)實現(xiàn)DNN推斷的加速，使得DNN推斷過程能夠更加貼合邊緣計算環(huán)境的特點。所述方法結(jié)合邊緣環(huán)境自適應(yīng)地對DAG拓?fù)浣Y(jié)構(gòu)的DNN進(jìn)行分割，為了實現(xiàn)自適應(yīng)的過程，該方法分別針對計算設(shè)備同構(gòu)和異構(gòu)的不同情況，并采用貪心的思想根據(jù)當(dāng)前邊緣環(huán)境對DNN進(jìn)行分割。本發(fā)明對DNN進(jìn)行的分割能夠根據(jù)邊緣環(huán)境自適應(yīng)地調(diào)整分割策略，有效地解決單個邊緣設(shè)備計算能力較弱的問題，加快邊緣環(huán)境下DNN推斷的速度，提高用戶體驗。

技術(shù)領(lǐng)域

本發(fā)明涉及邊緣計算領(lǐng)域，具體是一種在邊緣計算網(wǎng)絡(luò)環(huán)境下根據(jù)DNN拓?fù)浣Y(jié)構(gòu)、邊緣設(shè)備計算能力、網(wǎng)絡(luò)帶寬等自適應(yīng)地調(diào)整DNN分割策略以降低總的推斷時延的方法及裝置。

背景技術(shù)

深度學(xué)習(xí)(Deep Learning)作為人工智能(Artificial Intelligence，AI)領(lǐng)域的重要部分，這些年來取得了許多令人矚目的成就，例如眾所周知的AlphaGo，就是深度學(xué)習(xí)在圍棋領(lǐng)域取得的成就；此外，在計算機(jī)視覺、語音識別等許多別的方面，深度學(xué)習(xí)也表現(xiàn)亮眼。

大數(shù)據(jù)的發(fā)展對于AI的發(fā)展有很大的推動作用，因為許多AI領(lǐng)域方法都需要有大量數(shù)據(jù)支撐，例如深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)，需要海量數(shù)據(jù)作為它的訓(xùn)練集，才能保證模型的泛用性。隨著DNN的不斷發(fā)展，DNN的拓?fù)浣Y(jié)構(gòu)也變得越來越豐富。這些DNN中有一部分是鏈狀拓?fù)浣Y(jié)構(gòu)，例如NiN、tiny YOlOv2和VGG16，另外有一些部分則是有向無環(huán)圖(Directed Acyclic Graph，DAG)結(jié)構(gòu)，例如AlexNet、ResNet-18、谷歌提出的Inception系列等。

目前，由于智能手機(jī)等多種終端設(shè)備的發(fā)展推廣，終端設(shè)備會產(chǎn)生海量的數(shù)據(jù)。在過去，由于邊緣設(shè)備能力受限，一般是將邊緣設(shè)備產(chǎn)生的數(shù)據(jù)發(fā)送到計算能力強(qiáng)大的云數(shù)據(jù)中心進(jìn)行分析，但是，將大量數(shù)據(jù)通過廣域網(wǎng)(Wide Area Network，WAN)傳輸，不僅開銷高、延遲大，而且會有隱私泄露的風(fēng)險；另外，產(chǎn)生在邊緣的數(shù)據(jù)越來越多，未來網(wǎng)絡(luò)流量很可能支撐不住如此海量數(shù)據(jù)的運輸，因此，使用邊緣計算(Edge Computing)在邊緣對數(shù)據(jù)進(jìn)行處理，是很有必要的。

邊緣智能(Edge Intelligence，EI)作為AI和邊緣計算的結(jié)合體應(yīng)運而生，它的一個顯著特征是邊緣中的一組設(shè)備往往通過高帶寬的局域網(wǎng)(Local AreaNetwork，LAN)相聯(lián)，這意味著數(shù)據(jù)不再需要經(jīng)過開銷高、延遲大且隱私泄露風(fēng)險大的廣域網(wǎng)，而只要經(jīng)過開銷小、延遲小且隱私泄露風(fēng)險小的局域網(wǎng)即可。

DNN推斷由于其計算密集性，對于計算能力不強(qiáng)的單個邊緣設(shè)備來說，完成一次推斷帶來的時間延遲可能是不可接受的，而邊緣計算可以充分利用邊緣中的所有設(shè)備，將計算負(fù)載分配到不同的邊緣設(shè)備上，將繁重的計算任務(wù)并行化，減少總的推斷時延，DNN分割就是使用了這一策略。對于相同的數(shù)據(jù)，在不同的機(jī)器上進(jìn)行同樣的計算，得到的結(jié)果是一樣的，因此，只要能夠傳輸中間數(shù)據(jù)，就能將DNN進(jìn)行分割，并部署在不同的機(jī)器上進(jìn)行運算，以加快計算速度。

對于鏈狀拓?fù)浣Y(jié)構(gòu)的DNN，由于其結(jié)構(gòu)的單調(diào)性，在其拓?fù)浣Y(jié)構(gòu)的圖表示中，除了輸入層節(jié)點只有一條出邊，輸出層節(jié)點只有一條入邊之外，所有的中間層都有且僅有兩條關(guān)聯(lián)邊，其中一條是入邊，另一條是出邊。鏈狀拓?fù)浣Y(jié)構(gòu)的DNN對于每層的計算順序要求嚴(yán)格，難以在它們的結(jié)構(gòu)層面進(jìn)行并行化的處理，因此對于鏈狀拓?fù)浣Y(jié)構(gòu)的DNN推斷進(jìn)行加速，往往是在計算能力有限的邊緣終端設(shè)備和計算能力強(qiáng)大的云端數(shù)據(jù)中心之間橫向進(jìn)行切割，將分割后的部分分別放在邊緣和云端運行。