[發(fā)明專利]一種實(shí)現(xiàn)S型激活函數(shù)的電路

在審

• 申請(qǐng)?zhí)枺?/td>: 202111672601.3
• 申請(qǐng)日: 2021-12-31
• 公開(kāi)（公告）號(hào): CN114429094A
• 公開(kāi)（公告）日: 2022-05-03
• 發(fā)明（設(shè)計(jì)）人: 閔富紅;陳成杰;芮智;魯磊;承亦梓
• 申請(qǐng)（專利權(quán)）人: 南京師范大學(xué)
• 主分類號(hào): G06F30/32
• 分類號(hào): G06F30/32;G06F30/33
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 張弛

本發(fā)明公開(kāi)了一種實(shí)現(xiàn)S型激活函數(shù)的電路，通過(guò)輸入單元、中間級(jí)電路單元、輸出單元相互連接構(gòu)成實(shí)現(xiàn)電路，通過(guò)調(diào)節(jié)輸入單元中可調(diào)節(jié)電阻實(shí)現(xiàn)對(duì)S型激活函數(shù)的激活梯度及偏移量的控制，同樣通過(guò)調(diào)節(jié)輸出單元中可調(diào)節(jié)電阻實(shí)現(xiàn)對(duì)S型激活函數(shù)的閾值的控制，從而實(shí)現(xiàn)S型激活函數(shù)。

技術(shù)領(lǐng)域

本發(fā)明屬于電路設(shè)計(jì)技術(shù)和應(yīng)用領(lǐng)域，特別涉及一種實(shí)現(xiàn)S型激活函數(shù)的電路。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)與類腦計(jì)算研究成為計(jì)算機(jī)和電子信息領(lǐng)域的研究熱點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)由大腦抽象而來(lái)，具有簡(jiǎn)單的數(shù)學(xué)表達(dá)。此外，它的另一個(gè)特點(diǎn)是具有非線性激活函數(shù)，如Sigmoid函數(shù)、雙曲正切函數(shù)、ReLU函數(shù)等。Sigmoid函數(shù)被稱為S型激活函數(shù)，在物理建模上最接近生物神經(jīng)元，具有連續(xù)、光滑、單調(diào)和良好的對(duì)稱性。S型激活函數(shù)為單調(diào)遞增函數(shù)，相較于雙曲正切函數(shù)，它具有正閾值區(qū)間(0，1)。在激活函數(shù)的使用中，它的閾值、激活梯度和偏移量會(huì)根據(jù)需要做出改變，因此通過(guò)調(diào)節(jié)電路元件值控制其自身參數(shù)是必要的。S型激活函數(shù)的閾值表示其最大的幅值區(qū)間；S型激活函數(shù)的激活梯度表示各神經(jīng)元在外刺激下的響應(yīng)速度：激活梯度大于1表示神經(jīng)元具有快速的響應(yīng)；激活梯度等于1表示神經(jīng)元具有正常的響應(yīng)；激活梯度小于1表示神經(jīng)元具有緩慢的響應(yīng)；S型激活函數(shù)的偏移量表示其向左或向右移動(dòng)的幅度。

然而，在硬件實(shí)現(xiàn)方面，利用MCU、DSP、FPGA等數(shù)字電路平臺(tái)實(shí)現(xiàn)S型激活函數(shù)需要消耗較多的硬件資源，因此，利用模擬電路尤其是無(wú)乘法器模擬電路實(shí)現(xiàn)S型激活函數(shù)對(duì)于神經(jīng)形態(tài)電路的開(kāi)發(fā)有重要意義。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明的目的是提供一種實(shí)現(xiàn)S型激活函數(shù)的電路，通過(guò)輸入單元、中間級(jí)電路單元、輸出單元相互連接構(gòu)成實(shí)現(xiàn)電路，僅需通過(guò)調(diào)節(jié)可調(diào)節(jié)電阻達(dá)到控制閾值、激活梯度、偏移量的方式，實(shí)現(xiàn)S型激活函數(shù)。

技術(shù)方案：本發(fā)明提供的實(shí)現(xiàn)S型激活函數(shù)的電路，包含輸入單元、中間級(jí)電路單元、輸出單元；

所述輸入單元用以進(jìn)行數(shù)據(jù)信號(hào)輸入，該輸入單元包含可調(diào)節(jié)電阻Rg、可調(diào)節(jié)電阻Rμ，可調(diào)節(jié)電阻Rμ用以實(shí)現(xiàn)對(duì)數(shù)據(jù)信號(hào)的偏移量的控制，將數(shù)據(jù)信號(hào)進(jìn)行放大計(jì)算得出首次放大信號(hào)，同樣通過(guò)可調(diào)節(jié)電阻Rμ控制首次放大信號(hào)的偏移量，同時(shí)可調(diào)節(jié)電阻Rg用以實(shí)現(xiàn)對(duì)首次放大信號(hào)的激活梯度的控制，將首次放大信號(hào)通過(guò)可調(diào)節(jié)電阻Rg傳輸至中間級(jí)電路單元；

所述中間級(jí)電路單元用以接收首次放大信號(hào)，將首次放大信號(hào)進(jìn)行鏡像放大計(jì)算得出雙曲正切函數(shù)信號(hào)，首次放大信號(hào)實(shí)現(xiàn)對(duì)雙曲正切函數(shù)信號(hào)的激活梯度的控制，同時(shí)實(shí)現(xiàn)對(duì)雙曲正切函數(shù)信號(hào)的偏移量的控制，將雙曲正切函數(shù)信號(hào)繼續(xù)進(jìn)行放大計(jì)算，得出二次雙曲正切函數(shù)信號(hào)，首次放大信號(hào)同樣控制二次雙曲正切函數(shù)信號(hào)的偏移量、激活梯度，將二次雙曲正切函數(shù)信號(hào)傳輸至輸出單元；

所述輸出單元接收用以接收二次雙曲正切函數(shù)信號(hào)，該輸出單元包括可調(diào)節(jié)電阻RA1、可調(diào)節(jié)電阻RA2，可調(diào)節(jié)電阻RA1、可調(diào)節(jié)電阻RA2用以實(shí)現(xiàn)對(duì)二次雙曲正切函數(shù)信號(hào)的閾值的控制，將二次雙曲正切函數(shù)信號(hào)進(jìn)行最終放大計(jì)算得到S型激活函數(shù)信號(hào)，因此，首次放大信號(hào)實(shí)現(xiàn)對(duì)S型激活函數(shù)信號(hào)的激活梯度、偏移量的控制，同時(shí)，可調(diào)節(jié)電阻RA1、可調(diào)節(jié)電阻RA2實(shí)現(xiàn)對(duì)S型激活函數(shù)信號(hào)的閾值的控制。

有益效果：本發(fā)明與現(xiàn)有技術(shù)相比，其顯著特點(diǎn)是通過(guò)輸入單元、中間級(jí)電路單元、輸出單元相互連接構(gòu)成實(shí)現(xiàn)電路，通過(guò)調(diào)節(jié)輸入單元中可調(diào)節(jié)電阻實(shí)現(xiàn)對(duì)S型激活函數(shù)的激活梯度及偏移量的控制，同樣通過(guò)調(diào)節(jié)輸出單元中可調(diào)節(jié)電阻實(shí)現(xiàn)對(duì)S型激活函數(shù)的閾值的控制，從而實(shí)現(xiàn)S型激活函數(shù)。

附圖說(shuō)明

圖1是本發(fā)明的電路原理圖；

圖2A為當(dāng)RA1＝300kΩ、RA2＝20kΩ、Rg＝0.26kΩ和Rμ＝+∞kΩ(Rμ斷開(kāi))時(shí)，vi-Sigmoid(vi)平面上實(shí)現(xiàn)標(biāo)準(zhǔn)S型激活函數(shù)的Multisim電路仿真相圖；