[發(fā)明專利]用于稀疏連接的人工神經(jīng)網(wǎng)絡(luò)計(jì)算裝置和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710794712.9
• 申請(qǐng)日: 2016-01-20
• 公開(kāi)（公告）號(hào): CN107506828B
• 公開(kāi)（公告）日: 2020-11-03
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 中科寒武紀(jì)科技股份有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 任巖

1.一種用于稀疏連接的人工神經(jīng)網(wǎng)絡(luò)計(jì)算裝置，其特征在于，包括映射單元和運(yùn)算單元，其中：

所述映射單元用于接收n1個(gè)第一數(shù)據(jù)和n2個(gè)第二數(shù)據(jù)，并產(chǎn)生第一輸出數(shù)據(jù)；

所述運(yùn)算單元接收第一輸出數(shù)據(jù)和指令，并根據(jù)指令執(zhí)行運(yùn)算，得到n3個(gè)第二輸出數(shù)據(jù)；

所述第二數(shù)據(jù)包括輸入數(shù)據(jù)，或包括權(quán)值，或包括輸入數(shù)據(jù)和權(quán)值；輸入數(shù)據(jù)包括輸入神經(jīng)元；

所述第二輸出數(shù)據(jù)包括輸出神經(jīng)元；

第一數(shù)據(jù)表示輸入神經(jīng)元的每一個(gè)和n3個(gè)輸出神經(jīng)元的每一個(gè)是否有對(duì)應(yīng)；有對(duì)應(yīng)的含義包括輸入神經(jīng)元與輸出神經(jīng)元有對(duì)應(yīng)的權(quán)值，無(wú)對(duì)應(yīng)的含義包括輸入神經(jīng)元與輸出神經(jīng)元沒(méi)有對(duì)應(yīng)的權(quán)值；

映射單元產(chǎn)生第一輸出數(shù)據(jù)包括映射單元根據(jù)第一數(shù)據(jù)輸出有對(duì)應(yīng)的第二數(shù)據(jù)；或者映射單元將無(wú)對(duì)應(yīng)的第二數(shù)據(jù)補(bǔ)上零，作為所述第一輸出數(shù)據(jù)，n1、n2、n3均為大于等于1的正整數(shù)。

2.如權(quán)利要求1所述的計(jì)算裝置，其特征在于，所述計(jì)算裝置還包括存儲(chǔ)裝置，用于存儲(chǔ)第一數(shù)據(jù)、第二數(shù)據(jù)、第二輸出數(shù)據(jù)和指令；輸入神經(jīng)元與輸出神經(jīng)元有對(duì)應(yīng)的權(quán)值包括輸入神經(jīng)元與輸出神經(jīng)元有對(duì)應(yīng)的非零權(quán)值，輸入神經(jīng)元與輸出神經(jīng)元無(wú)對(duì)應(yīng)的權(quán)值包括輸入神經(jīng)元與輸出神經(jīng)元沒(méi)有對(duì)應(yīng)的非零權(quán)值。

3.如權(quán)利要求2所述的計(jì)算裝置，其特征在于，所述運(yùn)算單元包括乘法器、加法樹和非線性函數(shù)單元；所述第一輸出數(shù)據(jù)包括映射后的輸入神經(jīng)元和映射后的權(quán)值； 所述運(yùn)算單元接收第一輸出數(shù)據(jù)，并執(zhí)行運(yùn)算，得到n3個(gè)輸出神經(jīng)元包括：所述乘法器將映射后的輸入神經(jīng)元和映射后的權(quán)值相乘，得到加權(quán)神經(jīng)元數(shù)據(jù)；和/或所述加法樹將加權(quán)神經(jīng)元數(shù)據(jù)相加得到總加權(quán)神經(jīng)元數(shù)據(jù)；和/或所述非線性函數(shù)單元對(duì)總加權(quán)神經(jīng)元數(shù)據(jù)執(zhí)行激活函數(shù)運(yùn)算，得到輸出神經(jīng)元。

4.如權(quán)利要求3所述的計(jì)算裝置，其特征在于，所述運(yùn)算單元將總加權(quán)神經(jīng)元數(shù)據(jù)和偏置相加得到加偏置神經(jīng)元數(shù)據(jù)，和/或?qū)悠蒙窠?jīng)元數(shù)據(jù)執(zhí)行激活函數(shù)運(yùn)算，得到輸出神經(jīng)元。

5.如權(quán)利要求4所述的計(jì)算裝置，其特征在于，所述激活函數(shù)包括sigmoid函數(shù)、tanh函數(shù)或ReLU函數(shù)。

6.如權(quán)利要求5所述的計(jì)算裝置，其特征在于，所述存儲(chǔ)裝置還用于存儲(chǔ)第二輸出數(shù)據(jù)。

7.如權(quán)利要求6所述的計(jì)算裝置，其特征在于，映射單元將部分或全部的第一輸出數(shù)據(jù)存儲(chǔ)在存儲(chǔ)裝置中。

8.如權(quán)利要求7所述的計(jì)算裝置，其特征在于，所述第一數(shù)據(jù)包括：

對(duì)于每個(gè)輸出神經(jīng)元，采用1表示每個(gè)輸入神經(jīng)元和該輸出神經(jīng)元有對(duì)應(yīng)，0表示每個(gè)輸入神經(jīng)元和該輸出神經(jīng)元無(wú)對(duì)應(yīng)，組成一個(gè)0和1的字符串來(lái)表示該輸出神經(jīng)元的第一數(shù)據(jù)；或者

對(duì)于每個(gè)輸入神經(jīng)元，采用1表示該輸入神經(jīng)元和每個(gè)輸出神經(jīng)元有對(duì)應(yīng)，0表示該輸入神經(jīng)元和每個(gè)輸出神經(jīng)元無(wú)對(duì)應(yīng)，組成一個(gè)0和1的字符串來(lái)表示該輸入神經(jīng)元的第一數(shù)據(jù)；或者

對(duì)于每個(gè)輸出神經(jīng)元，將第一有對(duì)應(yīng)輸入神經(jīng)元所在的位置與第一個(gè)輸入神經(jīng)元的距離、第二有對(duì)應(yīng)輸入神經(jīng)元所在的位置與第一有對(duì)應(yīng)輸入神經(jīng)元的距離，第三有對(duì)應(yīng)輸入神經(jīng)元與第二有對(duì)應(yīng)輸入神經(jīng)元的距離，……，依次類推，直到窮舉所有與該輸出神經(jīng)元有對(duì)應(yīng)的輸入神經(jīng)元，來(lái)表示所述輸出的第一數(shù)據(jù)；其中第一有對(duì)應(yīng)輸入神經(jīng)元為第一個(gè)與該輸出神經(jīng)元有對(duì)應(yīng)的輸入神經(jīng)元，第二有對(duì)應(yīng)輸入神經(jīng)元為第二個(gè)與該輸出神經(jīng)元有對(duì)應(yīng)的輸入神經(jīng)元；第三有對(duì)應(yīng)輸入神經(jīng)元為第三個(gè)與該輸出神經(jīng)元有對(duì)應(yīng)的輸入神經(jīng)元。

9.如權(quán)利要求8所述的計(jì)算裝置，其特征在于，所述用于人工神經(jīng)網(wǎng)絡(luò)運(yùn)算的計(jì)算裝置還包括：

指令緩存，用于存儲(chǔ)所述指令；以及

控制單元，用于從所述指令緩存中讀取指令，并將讀取的指令譯碼。

10.如權(quán)利要求9所述的計(jì)算裝置，其特征在于，所述用于人工神經(jīng)網(wǎng)絡(luò)運(yùn)算的計(jì)算裝置還包括：輸入神經(jīng)元緩存，用于緩存輸入神經(jīng)元；以及權(quán)值緩存，用于緩存權(quán)值。