[發(fā)明專利]一種用于執(zhí)行人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算的裝置和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201610282480.4
• 申請(qǐng)日: 2016-04-29
• 公開(kāi)（公告）號(hào): CN107330515A
• 公開(kāi)（公告）日: 2017-11-07
• 發(fā)明（設(shè)計(jì)）人: 陳云霽;劉少禮;郭崎;陳天石
• 申請(qǐng)（專利權(quán)）人: 北京中科寒武紀(jì)科技有限公司
• 主分類號(hào): G06N3/06
• 分類號(hào): G06N3/06
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司11021
• 代理人: 任巖

技術(shù)領(lǐng)域

本發(fā)明涉及人工神經(jīng)網(wǎng)絡(luò)運(yùn)算技術(shù)領(lǐng)域，更具體地涉及一種用于執(zhí)行人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算的裝置和方法。

背景技術(shù)

多層人工神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于模式識(shí)別、圖像處理、函數(shù)逼近和優(yōu)化計(jì)算等領(lǐng)域，多層人工網(wǎng)絡(luò)在近年來(lái)由于其較高的識(shí)別準(zhǔn)確度和較好的可并行性，受到學(xué)術(shù)界和工業(yè)界越來(lái)越廣泛的關(guān)注。

傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算對(duì)數(shù)據(jù)的存儲(chǔ)通常采用的是32位浮點(diǎn)數(shù)據(jù)類型，但在大部分人工神經(jīng)網(wǎng)絡(luò)的正向運(yùn)算中，同一類型的數(shù)據(jù)都會(huì)集中在某一數(shù)據(jù)范圍之內(nèi)，而32位浮點(diǎn)所能表示的數(shù)據(jù)范圍遠(yuǎn)遠(yuǎn)大于正向運(yùn)算同一類型數(shù)據(jù)的數(shù)據(jù)范圍，采用32位浮點(diǎn)數(shù)據(jù)類型存在著大量的冗余，增加了硬件的面積開(kāi)銷。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的一個(gè)目的在于提供一種用于執(zhí)行人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算的裝置，本發(fā)明的另一個(gè)目的在于提供一種執(zhí)行人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算的方法，以解決上述技術(shù)問(wèn)題中的至少之一。

為了實(shí)現(xiàn)上述目的，作為本發(fā)明的一個(gè)方面，本發(fā)明提供了一種用于執(zhí)行人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算的裝置，包括浮點(diǎn)數(shù)據(jù)統(tǒng)計(jì)模塊、數(shù)據(jù)轉(zhuǎn)換單元和定點(diǎn)數(shù)據(jù)運(yùn)算模塊，其中，

所述浮點(diǎn)數(shù)據(jù)統(tǒng)計(jì)模塊用于對(duì)所述人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算所需的各個(gè)類型的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，得到小數(shù)點(diǎn)位置Point location；

所述數(shù)據(jù)轉(zhuǎn)換單元用于根據(jù)所述浮點(diǎn)數(shù)據(jù)統(tǒng)計(jì)模塊得到的所述小數(shù)點(diǎn)位置Point location來(lái)實(shí)現(xiàn)長(zhǎng)位數(shù)浮點(diǎn)數(shù)據(jù)類型向短位數(shù)定點(diǎn)數(shù)據(jù)類型的轉(zhuǎn)換；

所述浮點(diǎn)數(shù)據(jù)運(yùn)算模塊用于在所述數(shù)據(jù)轉(zhuǎn)換單元將所有所述人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算中所需的輸入、權(quán)值和/或偏置數(shù)據(jù)均采用短位數(shù)定點(diǎn)數(shù)據(jù)類型表示之后，對(duì)所述短位數(shù)定點(diǎn)數(shù)據(jù)進(jìn)行人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算。

其中，所述浮點(diǎn)數(shù)據(jù)統(tǒng)計(jì)模塊包括數(shù)據(jù)提取單元、統(tǒng)計(jì)單元和分析單元，其中，所述數(shù)據(jù)提取單元用于提取基于長(zhǎng)位數(shù)浮點(diǎn)數(shù)據(jù)的正向運(yùn)算中各不同類型的數(shù)據(jù)；所述統(tǒng)計(jì)單元用于統(tǒng)計(jì)同一類型數(shù)據(jù)的數(shù)據(jù)范圍及各數(shù)據(jù)段的數(shù)據(jù)分布情況；所述分析單元根據(jù)統(tǒng)計(jì)單元統(tǒng)計(jì)的結(jié)果，得出用短位數(shù)定點(diǎn)表示各個(gè)類型數(shù)據(jù)應(yīng)當(dāng)設(shè)定的小數(shù)點(diǎn)位置Point location。

其中，所述用于執(zhí)行人工神經(jīng)網(wǎng)絡(luò)正向運(yùn)算的裝置還包括舍入單元，所述舍入單元用于在運(yùn)算結(jié)束后，對(duì)超出短位數(shù)定點(diǎn)精度范圍的數(shù)據(jù)進(jìn)行舍入操作。

其中，所述舍入單元選自隨機(jī)舍入單元、四舍五入單元、向上舍入單元、向下舍入單元、截?cái)嗌崛雴卧械娜我环N；

其中，所述隨機(jī)舍入單元執(zhí)行如下操作：

其中，y表示隨機(jī)舍入后的短位定點(diǎn)數(shù)據(jù)，x表示隨機(jī)舍入前的長(zhǎng)位浮點(diǎn)數(shù)據(jù)，ε為當(dāng)前短位數(shù)定點(diǎn)數(shù)據(jù)表示格式所能表示的最小正整數(shù)，即2^{-Point_location}，表示對(duì)原數(shù)據(jù)x直接截得短位數(shù)定點(diǎn)數(shù)據(jù)所得的數(shù)，w.p.表示概率，即隨機(jī)舍入獲得的數(shù)據(jù)y為的概率為為的概率為

所述四舍五入單元執(zhí)行如下操作：

其中，y表示四舍五入后的短位定點(diǎn)數(shù)據(jù)，x表示四舍五入前的長(zhǎng)位浮點(diǎn)數(shù)據(jù)，ε為當(dāng)前短位數(shù)定點(diǎn)數(shù)據(jù)表示格式所能表示的最小正整數(shù)，即2^{-Point_location}，為ε的整數(shù)倍，其值為小于或等于x的最大數(shù)；

所述向上舍入單元執(zhí)行如下操作：

其中，y表示向上舍入后的短位定點(diǎn)數(shù)據(jù)，x表示向上舍入前的長(zhǎng)位浮點(diǎn)數(shù)據(jù)，為ε的整數(shù)倍，其值為大于或等于x的最小數(shù)，ε為當(dāng)前短位數(shù)定點(diǎn)數(shù)據(jù)表示格式所能表示的最小正整數(shù)，即2^{-Point_location}；

所述向下舍入單元執(zhí)行如下操作：

其中，y表示向上舍入后的短位定點(diǎn)數(shù)據(jù)，x表示向上舍入前的長(zhǎng)位浮點(diǎn)數(shù)據(jù)，為ε的整數(shù)倍，其值為小于或等于x的最大數(shù)，ε為當(dāng)前短位數(shù)定點(diǎn)數(shù)據(jù)表示格式所能表示的最小正整數(shù)，即2^{-Point_location}；

所述截?cái)嗌崛雴卧獔?zhí)行如下操作：

y＝[x]；

其中，y表示截?cái)嗌崛牒蟮亩涛欢c(diǎn)數(shù)據(jù)，x表示截?cái)嗌崛肭暗拈L(zhǎng)位浮點(diǎn)數(shù)據(jù)，[x]表示對(duì)原數(shù)據(jù)x直接截得短位數(shù)定點(diǎn)數(shù)據(jù)所得的數(shù)。

其中，所述數(shù)據(jù)轉(zhuǎn)換單元先通過(guò)所述舍入單元對(duì)待處理的數(shù)據(jù)進(jìn)行舍入操作，再根據(jù)浮點(diǎn)數(shù)據(jù)統(tǒng)計(jì)模塊得到的小數(shù)點(diǎn)位置Point location來(lái)實(shí)現(xiàn)長(zhǎng)位數(shù)浮點(diǎn)數(shù)據(jù)類型向短位數(shù)定點(diǎn)數(shù)據(jù)類型的轉(zhuǎn)換。