[發(fā)明專利]一種適配深度學(xué)習(xí)硬件加速器的可重構(gòu)激活函數(shù)硬件裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202211660618.1
• 申請(qǐng)日: 2022-12-23
• 公開(kāi)（公告）號(hào): CN115936076A
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 王中風(fēng);吳曉;梁雙;王美琪
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06N3/048
• 分類號(hào): G06N3/048;G06N3/063;G06F7/523
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 于瀚文

本發(fā)明提供了一種適配深度學(xué)習(xí)硬件加速器的可重構(gòu)激活函數(shù)硬件裝置，包括函數(shù)類型判斷單元、ReLU計(jì)算單元、簡(jiǎn)化函數(shù)計(jì)算單元、可變精度單元和優(yōu)化函數(shù)計(jì)算單元。該發(fā)明充分利用不同非線性激活函數(shù)計(jì)算表達(dá)式之間的相關(guān)性，可以實(shí)現(xiàn)對(duì)ReLU函數(shù)、ReLU6函數(shù)、PReLU函數(shù)、Leaky?ReLU函數(shù)、Sigmoid函數(shù)、Tanh函數(shù)、Swish函數(shù)、H?Sigmoid函數(shù)和H?Swish函數(shù)九種神經(jīng)網(wǎng)絡(luò)常用激活函數(shù)的近似計(jì)算，從而適配多功能的深度學(xué)習(xí)硬件加速器，在計(jì)算資源和近似精度之間取得了很好的平衡，具有計(jì)算效率高、靈活、可重構(gòu)等特點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種適配深度學(xué)習(xí)硬件加速器的可重構(gòu)激活函數(shù)硬件裝置。

背景技術(shù)

非線性激活函數(shù)(Nonlinear?Activation?Function,NAF)作為深度神經(jīng)網(wǎng)絡(luò)(Deep?Neural?Network,DNN)的重要組成部分，由于其復(fù)雜的算術(shù)運(yùn)算，給DNN的高效硬件實(shí)現(xiàn)帶來(lái)了關(guān)鍵挑戰(zhàn)。本發(fā)明所解決的問(wèn)題是，如何為多種激活函數(shù)設(shè)計(jì)靈活可重構(gòu)的硬件加速架構(gòu)，能夠適配多功能DNN加速器，并在FPGA(Field?Programmable?Gate?Array,現(xiàn)場(chǎng)可編程邏輯門陣列)或者ASIC(Application?Specific?Integrated?Circuit,特定用途集成電路)平臺(tái)上高效實(shí)現(xiàn)。

DNN加速器近年來(lái)已成為學(xué)術(shù)界和工業(yè)界的研究熱點(diǎn)，而非線性激活函數(shù)是深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的重要組成部分。目前，新興的深度學(xué)習(xí)(Deep?Learning,DL)技術(shù)，如神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(Neural?Architecture?Search,NAS)，被提出為各種實(shí)際深度學(xué)習(xí)任務(wù)尋找最優(yōu)的DNN結(jié)構(gòu)。為實(shí)現(xiàn)DNN設(shè)計(jì)的高精度，新興的計(jì)算操作中涉及了各種NAF，如壓縮-激發(fā)(Squeeze-and-Excitation,SE)塊中的Swish函數(shù)。預(yù)定義NAS搜索空間中的可選激活層也從單一的ReLU函數(shù)變?yōu)楦鞣N非線性函數(shù)，包括Sigmoid函數(shù)和Tanh函數(shù)。此外，新興的DNN結(jié)構(gòu)往往包含多種非線性激活函數(shù)，對(duì)通用DNN加速器提出了很高的要求。然而，在硬件設(shè)計(jì)中，直接用粗略簡(jiǎn)化的函數(shù)替換非線性函數(shù)或忽略這些復(fù)雜的非線性函數(shù)會(huì)造成不可接受的精度損失。因此，對(duì)于深度學(xué)習(xí)系統(tǒng)來(lái)說(shuō)，一個(gè)可以轉(zhuǎn)換成不同非線性激活函數(shù)的通用計(jì)算模塊是迫切需要的。

非線性激活函數(shù)廣泛應(yīng)用于計(jì)算視覺(jué)任務(wù)領(lǐng)域，根據(jù)不同函數(shù)數(shù)學(xué)表示的相關(guān)性，常見(jiàn)的NAF大致可分為兩類：一類是ReLU系列，另一類是Sigmoid、Swish、Tanh系列，如圖1所示。為了方便硬件實(shí)現(xiàn)，在輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional?Neural?Network,CNN)中，將Sigmoid函數(shù)和Swish函數(shù)粗略簡(jiǎn)化為H-Sigmoid函數(shù)和H-Swish函數(shù)，但需要對(duì)網(wǎng)絡(luò)進(jìn)行重訓(xùn)練或者微調(diào)才能保證網(wǎng)絡(luò)的精度不受影響。

現(xiàn)有技術(shù)方案：

為了高效地實(shí)現(xiàn)非線性激活函數(shù)，近似方案可以分為以下幾種：

(1)基于查找表(Look-Up-Table,LUT)的方法使用LUT或存儲(chǔ)單元來(lái)存儲(chǔ)NAF的采樣值。然而，采用這種方法來(lái)近似更多的NAF或獲得更高的近似精度會(huì)導(dǎo)致存儲(chǔ)資源的顯著增加。

(2)分段線性(Piecewise?Linear,PWL)逼近法將輸入范圍劃分為若干段，并使用一個(gè)線性函數(shù)擬合每段的曲線。提高逼近精度可以通過(guò)增加PWL線段的數(shù)量或采用PWL線段的非均勻分布來(lái)實(shí)現(xiàn)，但這也增加了曲線分割和線性擬合的難度。