[發(fā)明專利]一種基于線性分段的激活函數(shù)的硬件實(shí)現(xiàn)電路和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911037850.8
• 申請(qǐng)日: 2019-10-29
• 公開（公告）號(hào): CN110796246A
• 公開（公告）日: 2020-02-14
• 發(fā)明（設(shè)計(jì)）人: 李麗;張衡;傅玉祥;何書專
• 申請(qǐng)（專利權(quán)）人: 南京寧麒智能計(jì)算芯片研究院有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/04
• 代理公司: 32346 江蘇瑞途律師事務(wù)所
• 代理人: 李維朝

本發(fā)明公開了一種基于線性分段的激活函數(shù)的硬件實(shí)現(xiàn)電路，包括控制器模塊、地址產(chǎn)生模塊、數(shù)據(jù)分發(fā)模塊、初始化模塊、激活函數(shù)模塊；控制器模塊用于配置定點(diǎn)位寬和定點(diǎn)整數(shù)位寬并送入到地址產(chǎn)生模塊和數(shù)據(jù)分發(fā)模塊，地址產(chǎn)生模塊找到對(duì)應(yīng)數(shù)據(jù)地址通過數(shù)據(jù)分發(fā)模塊讀取數(shù)據(jù)送入到初始化模塊，然后初始化模塊將數(shù)據(jù)送入到計(jì)算陣列中的激活函數(shù)模塊，最后寫入到SRAM相應(yīng)位置；初始化模塊根據(jù)神經(jīng)網(wǎng)絡(luò)應(yīng)用場(chǎng)景和深度的不同改變定點(diǎn)整數(shù)位寬和定點(diǎn)小數(shù)位寬，并以此對(duì)線性分段的斜率和截距進(jìn)行定點(diǎn)化表示，重構(gòu)查找表。本發(fā)明同時(shí)提供一種方法，根據(jù)任意定點(diǎn)整數(shù)位寬來重新定點(diǎn)化表示斜率與截距，重構(gòu)查找表，有效地節(jié)約運(yùn)算資源、提高計(jì)算速度。

技術(shù)領(lǐng)域

本發(fā)明屬于人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域，更具體地說，涉及一種基于線性分段的激活函數(shù)的硬件實(shí)現(xiàn)電路和方法。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)，簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)(neuralnetwork，NN)或類神經(jīng)網(wǎng)絡(luò)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型，用于對(duì)函數(shù)進(jìn)行估計(jì)、近似或預(yù)測(cè)。

神經(jīng)網(wǎng)絡(luò)主要是由輸入層、隱藏層、輸出層構(gòu)成。神經(jīng)網(wǎng)絡(luò)有單層神經(jīng)網(wǎng)絡(luò)(只有一個(gè)隱藏層和輸入層)和多層神經(jīng)網(wǎng)絡(luò)。實(shí)際中，網(wǎng)絡(luò)輸入層的每個(gè)神經(jīng)元代表了一個(gè)特征，輸出層個(gè)數(shù)代表了分類標(biāo)簽的個(gè)數(shù)(在做二分類時(shí)，如果采用sigmoid函數(shù)分類器，輸出層的神經(jīng)元個(gè)數(shù)為1個(gè)；如果采用softmax函數(shù)分類器，輸出層神經(jīng)元個(gè)數(shù)為2個(gè))，而隱藏層層數(shù)以及隱藏層神經(jīng)元是由人工設(shè)定。

對(duì)于一個(gè)二分類問題，有些情況是線性不可分的問題，無法用一條直線將兩種情況完全分開。如果用不帶激活函數(shù)的單層感知機(jī)來解決，單層感知機(jī)依舊是只能畫出一條直線，無法進(jìn)行復(fù)雜的二分類情況，解決不了線性不可分的情況。

對(duì)于不帶激活函數(shù)的單層感知機(jī)解決不了的問題，也可以用不帶激活函數(shù)的多層感知機(jī)來解決，根據(jù)多層感知機(jī)公式y(tǒng)＝w_2-1(w_1-11x₁+w_1-21x₂+b_1-1)+w_2-2(w_1-12x₁+w_1-22x₂+b_1-2)+w_2-3(w_1-13x₁+w_1-23x₂+b_1-3)可以看出多層感知機(jī)還是一個(gè)關(guān)于x₁和x₂的線性表達(dá)式，合并后的多個(gè)感知機(jī)本質(zhì)上還是一個(gè)線性分類器，依舊無法解決非線性問題。而隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，需要解決的問題越來越復(fù)雜，神經(jīng)網(wǎng)絡(luò)必然地走向了網(wǎng)絡(luò)層次“越來越深”的方向。這就對(duì)計(jì)算資源提出了極高的要求和挑戰(zhàn)。另外，在神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)過程中，通常都是采用浮點(diǎn)數(shù)進(jìn)行運(yùn)算。但浮點(diǎn)數(shù)運(yùn)算相對(duì)于定點(diǎn)運(yùn)算單元而言，存在占用資源多、功耗高等問題。而定點(diǎn)化神經(jīng)網(wǎng)絡(luò)，有一個(gè)必須解決的問題是數(shù)據(jù)溢出。

如果神經(jīng)網(wǎng)絡(luò)的所有的隱藏層和輸出層都加上一個(gè)激活函數(shù)，這樣輸出就是一個(gè)非線性函數(shù)，使得神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性函數(shù)，神經(jīng)網(wǎng)絡(luò)就可以應(yīng)用到非線性模型中。激活函數(shù)的優(yōu)點(diǎn)如下：

1、便于求導(dǎo)的平滑函數(shù)；

2、使結(jié)果映射到小區(qū)間，保證數(shù)據(jù)幅度不會(huì)有問題；

3、有益于神經(jīng)網(wǎng)絡(luò)前向傳播和反向傳播。

目前常用的激活函數(shù)有：sigmoid函數(shù)、tanh函數(shù)、Relu函數(shù)和softmax函數(shù)等。其中sigmoid函數(shù)是一個(gè)生物學(xué)中常見的S型函數(shù)，由于其單增以及反函數(shù)單增等性質(zhì)，因此常被用作神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，結(jié)果映射到(0,1)之間。在特征相差比較復(fù)雜或是相差不是特別大時(shí)效果比較好。公式為：