[發(fā)明專利]一種支持離散數(shù)據(jù)表示的用于執(zhí)行人工神經(jīng)網(wǎng)絡(luò)正向運算的裝置及方法

有效

• 申請?zhí)枺?/td>: 201710928125.4
• 申請日: 2017-07-20
• 公開（公告）號: CN107807819B
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計）人: 陳天石;劉少禮;王在;胡帥
• 申請（專利權(quán)）人: 上海寒武紀(jì)信息科技有限公司
• 主分類號: G06F9/302
• 分類號: G06F9/302;G06N3/063;G06F7/523;G06F9/30
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種支持離散數(shù)據(jù)表示的用于執(zhí)行人工神經(jīng)網(wǎng)絡(luò)正向運算的裝置，包括控制器單元、數(shù)據(jù)訪問單元、互聯(lián)模塊、主運算模塊、多個從運算模塊，其中：

控制器單元用于讀取指令，并將該指令譯碼成控制互聯(lián)模塊、主運算模塊、以及從運算模塊行為的微指令；

所述 指令為卷積神經(jīng)網(wǎng)絡(luò)運算指令，包括：至少1個操作碼和至少1個操作域，其中，

所述操作碼用于指示所述卷積神經(jīng)網(wǎng)絡(luò)運算指令的功能，所述操作域用于指示所述卷積神經(jīng)網(wǎng)絡(luò)運算指令的數(shù)據(jù)信息；

所述數(shù)據(jù)信息包括：立即數(shù)或寄存器號，具體包括：輸入數(shù)據(jù)的起始地址和數(shù)據(jù)長度，卷積核的起始地址和數(shù)據(jù)長度，以及激活函數(shù)的類型；

數(shù)據(jù)訪問單元用于從外部地址空間向主運算模塊和各從運算模塊的相應(yīng)數(shù)據(jù)緩存單元中寫入離散數(shù)據(jù)或連續(xù)數(shù)據(jù)或從所述數(shù)據(jù)緩存單元向外部地址空間讀離散數(shù)據(jù)或連續(xù)數(shù)據(jù)；

每層神經(jīng)網(wǎng)絡(luò)開始正向計算的階段，主運算模塊通過互聯(lián)模塊向所有的從運算模塊傳輸本層的離散或連續(xù)的輸入神經(jīng)元向量，在從運算模塊的計算過程完成后，互聯(lián)模塊逐級將各從運算模塊的離散或連續(xù)化的輸出神經(jīng)元值拼成中間結(jié)果向量，其中，當(dāng)輸入數(shù)據(jù)是離散數(shù)據(jù)與連續(xù)數(shù)據(jù)的混合數(shù)據(jù)時，從運算模塊針對不同離散數(shù)據(jù)采取預(yù)先設(shè)置的相應(yīng)計算方式；

主運算模塊用于利用中間結(jié)果向量完成后續(xù)計算，當(dāng)輸入數(shù)據(jù)是離散數(shù)據(jù)與連續(xù)數(shù)據(jù)的混合數(shù)據(jù)時，主運算模塊針對不同離散數(shù)據(jù)采取預(yù)先設(shè)置的相應(yīng)計算方式。

2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述裝置還包括：指令緩存單元；用于通過數(shù)據(jù)訪問單元讀入指令并緩存讀入的指令。

3.根據(jù)權(quán)利要求1所述的裝置，其中，離散數(shù)據(jù)表示指用特定的離散數(shù)字代替真實的連續(xù)數(shù)據(jù)的表示方式。

4.根據(jù)權(quán)利要求1所述的裝置，其中，多個從運算模塊利用相同的離散或連續(xù)的輸入神經(jīng)元向量和各自不同的離散或連續(xù)的權(quán)值向量，并行地計算出各自的離散或連續(xù)輸出神經(jīng)元值。

5.根據(jù)權(quán)利要求1所述的裝置，其中，主運算模塊對中間結(jié)果向量執(zhí)行以下任一項操作：

加偏置操作，在中間結(jié)果向量上加上偏置；

對中間結(jié)果向量進行激活，激活函數(shù)active是非線性函數(shù)sigmoid，tanh，relu，softmax中的任一個或線性函數(shù)；

采樣操作，將中間結(jié)果向量與隨機數(shù)比較，大于隨機數(shù)則輸出1，小于隨機數(shù)則輸出0；或者

池化操作，包括最大值池化或平均值池化。

6.根據(jù)權(quán)利要求1所述的裝置，其中，從運算模塊包括輸入神經(jīng)元緩存單元，用于緩存離散或者連續(xù)的輸入神經(jīng)元向量。

7.根據(jù)權(quán)利要求1所述的裝置，其中，互聯(lián)模塊構(gòu)成主運算模塊和所述多個從運算模塊之間的連續(xù)或離散化數(shù)據(jù)的數(shù)據(jù)通路。

8.根據(jù)權(quán)利要求1所述的裝置，其中，主運算模塊包括運算單元、數(shù)據(jù)依賴關(guān)系判斷單元和神經(jīng)元緩存單元，其中：

神經(jīng)元緩存單元用于緩存主運算模塊在計算過程中用到的離散或連續(xù)表示的輸入數(shù)據(jù)和輸出數(shù)據(jù)；

運算單元完成主運算模塊的各種運算功能，當(dāng)輸入數(shù)據(jù)是離散數(shù)據(jù)與連續(xù)數(shù)據(jù)的混合數(shù)據(jù)時，針對不同離散數(shù)據(jù)采取預(yù)先設(shè)置的相應(yīng)計算方式；

數(shù)據(jù)依賴關(guān)系判斷單元是運算單元讀寫神經(jīng)元緩存單元的端口，保證對神經(jīng)元緩存單元中連續(xù)數(shù)據(jù)或離散數(shù)據(jù)讀寫不存在一致性沖突，并且負(fù)責(zé)從神經(jīng)元緩存單元讀取輸入離散或連續(xù)的神經(jīng)元向量，并通過互聯(lián)模塊發(fā)送給從運算模塊；以及

來自互聯(lián)模塊的中間結(jié)果向量被發(fā)送到運算單元。