[發(fā)明專利]可重構(gòu)算子結(jié)構(gòu)、計(jì)算方法和硬件架構(gòu)

在審

• 申請?zhí)枺?/td>: 202110996875.1
• 申請日: 2021-08-27
• 公開（公告）號(hào): CN113780540A
• 公開（公告）日: 2021-12-10
• 發(fā)明（設(shè)計(jì)）人: 王巍;陳巍;楊施洋;耿云川;尚會(huì)濱;江博;李冰倩
• 申請（專利權(quán)）人: 千芯半導(dǎo)體科技（北京）有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/04;G06F17/15
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 程琛

本發(fā)明提供一種可重構(gòu)算子結(jié)構(gòu)、計(jì)算方法和硬件架構(gòu)，包括參數(shù)存儲(chǔ)單元，用于存儲(chǔ)各激活函數(shù)的各分段近似函數(shù)的計(jì)算參數(shù)，分段近似函數(shù)為高次函數(shù)；數(shù)據(jù)比較單元，用于從各個(gè)激活函數(shù)中的目標(biāo)激活函數(shù)的各分段近似函數(shù)的各輸入范圍中，選取輸入數(shù)據(jù)所屬的目標(biāo)范圍；控制單元，用于從參數(shù)存儲(chǔ)單元中選取目標(biāo)范圍對應(yīng)分段近似函數(shù)的計(jì)算參數(shù)；高次函數(shù)計(jì)算結(jié)構(gòu)，用于基于目標(biāo)范圍對應(yīng)分段近似函數(shù)的計(jì)算參數(shù)，確定輸入數(shù)據(jù)在目標(biāo)激活函數(shù)下的計(jì)算結(jié)果。本發(fā)明提供的可重構(gòu)算子結(jié)構(gòu)、計(jì)算方法和硬件架構(gòu)，因其結(jié)構(gòu)和計(jì)算任務(wù)簡單，計(jì)算效率更高。且各種激活函數(shù)之間的變換十分簡便，具備適應(yīng)各種不同激活函數(shù)的可重構(gòu)性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種可重構(gòu)算子結(jié)構(gòu)、計(jì)算方法和硬件架構(gòu)。

背景技術(shù)

激活函數(shù)作為神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)算法中不可或缺的部分，其計(jì)算直接影響到整個(gè)算法的執(zhí)行效率。例如在VLSI(Very Large Scale Integration，超大規(guī)模集成電路)上實(shí)現(xiàn)CNN(Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò))時(shí)，必須要實(shí)現(xiàn)激活函數(shù)層。

目前，基于人工智能芯片的激活函數(shù)計(jì)算多在軟件層面上設(shè)計(jì)實(shí)現(xiàn)，而激活函數(shù)中通常包含大量的非線性運(yùn)算，例如sigmoid函數(shù)中涉及到指數(shù)運(yùn)算，在軟件層面上進(jìn)行非線性運(yùn)算，會(huì)產(chǎn)生相當(dāng)龐大的計(jì)算量，占用大量的計(jì)算資源和計(jì)算時(shí)間，導(dǎo)致計(jì)算速度慢、功耗大的問題。軟件層面上的通用設(shè)計(jì)方式已經(jīng)無法滿足人工智能發(fā)展對于速度、功耗的追求，因此亟需一種新的實(shí)現(xiàn)方式來提供激活函數(shù)的計(jì)算效率并降低其計(jì)算功耗。

發(fā)明內(nèi)容

本發(fā)明提供一種可重構(gòu)算子結(jié)構(gòu)、計(jì)算方法和硬件架構(gòu)，用以解決現(xiàn)有技術(shù)中通過軟件層面計(jì)算激活函數(shù)存在速度慢、功耗大的問題。

本發(fā)明提供一種可重構(gòu)算子結(jié)構(gòu)，包括：

參數(shù)存儲(chǔ)單元，用于存儲(chǔ)各個(gè)激活函數(shù)的各個(gè)分段近似函數(shù)的計(jì)算參數(shù)，所述分段近似函數(shù)為高次函數(shù)；

數(shù)據(jù)比較單元，用于從各個(gè)激活函數(shù)中的目標(biāo)激活函數(shù)的各個(gè)分段近似函數(shù)的各個(gè)輸入范圍中，選取輸入數(shù)據(jù)所屬的輸入范圍作為目標(biāo)范圍；

控制單元，所述控制單元分別與所述參數(shù)存儲(chǔ)單元和所述數(shù)據(jù)比較單元連接，用于從所述參數(shù)存儲(chǔ)單元中，選取出所述目標(biāo)激活函數(shù)的所述目標(biāo)范圍對應(yīng)分段近似函數(shù)的計(jì)算參數(shù)；

高次函數(shù)計(jì)算結(jié)構(gòu)，所述高次函數(shù)計(jì)算結(jié)構(gòu)與所述參數(shù)存儲(chǔ)單元連接，所述高次函數(shù)計(jì)算結(jié)構(gòu)為運(yùn)算所述高次函數(shù)的硬件結(jié)構(gòu)，用于基于所述目標(biāo)范圍對應(yīng)分段近似函數(shù)的計(jì)算參數(shù)，確定所述輸入數(shù)據(jù)在所述目標(biāo)激活函數(shù)下的計(jì)算結(jié)果。

根據(jù)本發(fā)明提供的一種可重構(gòu)算子結(jié)構(gòu)，所述高次函數(shù)為對拆分函數(shù)進(jìn)行多次迭代的形式；

所述高次函數(shù)計(jì)算結(jié)構(gòu)包括計(jì)算單元，所述計(jì)算單元用于運(yùn)算所述拆分函數(shù)；

所述計(jì)算單元的輸出端與所述計(jì)算單元的參數(shù)輸入端連接，所述參數(shù)輸入端輸入的下一次拆分函數(shù)計(jì)算的輸入?yún)?shù)包括所述輸出端輸出的當(dāng)前次拆分函數(shù)的計(jì)算結(jié)果。

根據(jù)本發(fā)明提供的一種可重構(gòu)算子結(jié)構(gòu)，還包括：

范圍存儲(chǔ)單元，所述范圍存儲(chǔ)單元與所述數(shù)據(jù)比較單元連接，用于存儲(chǔ)各個(gè)激活函數(shù)的各個(gè)分段近似函數(shù)的各個(gè)輸入范圍。

根據(jù)本發(fā)明提供的一種可重構(gòu)算子結(jié)構(gòu)，所述高次函數(shù)計(jì)算結(jié)構(gòu)還包括輸入寄存器、參數(shù)寄存器、數(shù)據(jù)選擇器和計(jì)算單元寄存器；

其中，所述輸入寄存器的輸入為所述輸入數(shù)據(jù)，所述輸入寄存器的輸出端與所述計(jì)算單元的變量輸入端連接；

所述參數(shù)寄存器的輸入為所述計(jì)算參數(shù)，所述參數(shù)寄存器的輸出端直接與所述計(jì)算單元的參數(shù)輸入端連接，或通過所述數(shù)據(jù)選擇器與所述計(jì)算單元的參數(shù)輸入端連接；