[發(fā)明專(zhuān)利]一種用于執(zhí)行神經(jīng)網(wǎng)絡(luò)運(yùn)算的裝置及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010074555.6
• 申請(qǐng)日: 2016-08-05
• 公開(kāi)（公告）號(hào): CN111310893A
• 公開(kāi)（公告）日: 2020-06-19
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中科寒武紀(jì)科技股份有限公司
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種用于執(zhí)行神經(jīng)網(wǎng)絡(luò)運(yùn)算的裝置，其中，所述裝置包括片上互聯(lián)模塊和與該片上互聯(lián)模塊通信連接的N個(gè)神經(jīng)網(wǎng)絡(luò)處理模塊，N為大于1的正整數(shù)，其中：

所述神經(jīng)網(wǎng)絡(luò)處理模塊被配置為讀取數(shù)據(jù)，并根據(jù)讀取的數(shù)據(jù)進(jìn)行單層神經(jīng)網(wǎng)絡(luò)的部分運(yùn)算，得到各自的運(yùn)算結(jié)果，將所述各自的運(yùn)算結(jié)果進(jìn)行本地存儲(chǔ)和/或通過(guò)片上互聯(lián)模塊將各自的運(yùn)算結(jié)果數(shù)據(jù)進(jìn)行數(shù)據(jù)交換；

其中，所述單層神經(jīng)網(wǎng)絡(luò)運(yùn)算被劃分，以采用所述N個(gè)神經(jīng)網(wǎng)絡(luò)處理模塊進(jìn)行運(yùn)算。

2.根據(jù)權(quán)利要求1所述的裝置，每個(gè)所述神經(jīng)網(wǎng)絡(luò)處理模塊被配置為通過(guò)所述片上互聯(lián)模塊從其它N-1個(gè)神經(jīng)網(wǎng)絡(luò)處理模塊中讀寫(xiě)數(shù)據(jù)，其中：

每個(gè)所述神經(jīng)網(wǎng)絡(luò)處理模塊包括神經(jīng)網(wǎng)絡(luò)處理單元和高速存儲(chǔ)單元，所述神經(jīng)網(wǎng)絡(luò)處理模塊在進(jìn)行神經(jīng)網(wǎng)絡(luò)的部分運(yùn)算時(shí)，神經(jīng)網(wǎng)絡(luò)處理單元通過(guò)片上互聯(lián)模塊從其它N-1個(gè)神經(jīng)網(wǎng)絡(luò)處理模塊中的神經(jīng)網(wǎng)絡(luò)處理單元中讀取數(shù)據(jù)，和/或通過(guò)片上互聯(lián)模塊從其它N-1個(gè)神經(jīng)網(wǎng)絡(luò)處理模塊中的高速存儲(chǔ)單元中讀取數(shù)據(jù)；

所述神經(jīng)網(wǎng)絡(luò)處理模塊在進(jìn)行神經(jīng)網(wǎng)絡(luò)的部分運(yùn)算時(shí)，神經(jīng)網(wǎng)絡(luò)處理單元直接從與其對(duì)應(yīng)的高速儲(chǔ)存單元中讀取數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述裝置，其中，所述神經(jīng)網(wǎng)絡(luò)處理單元還包括同步關(guān)系單元，所述同步關(guān)系單元被配置為在所述神經(jīng)網(wǎng)絡(luò)運(yùn)算單元向其它N-1個(gè)神經(jīng)網(wǎng)絡(luò)運(yùn)算單元發(fā)送數(shù)據(jù)后，所述神經(jīng)網(wǎng)絡(luò)運(yùn)算單元所對(duì)應(yīng)的同步關(guān)系單元執(zhí)行數(shù)據(jù)送達(dá)指令，以向其它N-1個(gè)神經(jīng)網(wǎng)絡(luò)運(yùn)算單元所對(duì)應(yīng)的同步關(guān)系單元發(fā)送數(shù)據(jù)送達(dá)信號(hào)，其中，所述數(shù)據(jù)送達(dá)指令包括多個(gè)操作碼，其中各個(gè)操作碼分別表示是否向該神經(jīng)網(wǎng)絡(luò)處理單元發(fā)送數(shù)據(jù)送達(dá)信號(hào)。

4.根據(jù)權(quán)利要求3所述的裝置，其中，所述同步關(guān)系單元還被配置為：在所述神經(jīng)網(wǎng)絡(luò)運(yùn)算單元收到其它N-1個(gè)神經(jīng)網(wǎng)絡(luò)運(yùn)算單元所發(fā)送的數(shù)據(jù)后，其對(duì)應(yīng)的同步關(guān)系單元執(zhí)行數(shù)據(jù)依賴指令以檢測(cè)是否是收到數(shù)據(jù)送達(dá)信號(hào)，若是，則繼續(xù)執(zhí)行指令，否則阻塞指令隊(duì)列，其中，所述數(shù)據(jù)依賴指令包括多個(gè)操作碼，其中各個(gè)操作碼表示是否檢查來(lái)自該神經(jīng)網(wǎng)絡(luò)處理單元的數(shù)據(jù)送達(dá)信號(hào)。

5.根據(jù)權(quán)利要求4所述的用于執(zhí)行神經(jīng)網(wǎng)絡(luò)運(yùn)算的裝置，其中，所述同步關(guān)系單元還被配置為：在神經(jīng)網(wǎng)絡(luò)處理單元中的同步關(guān)系單元通過(guò)執(zhí)行數(shù)據(jù)同步指令，以向其它N-1個(gè)神經(jīng)網(wǎng)絡(luò)處理單元中的同步關(guān)系單元發(fā)送一同步信號(hào)，以強(qiáng)制N個(gè)神經(jīng)網(wǎng)絡(luò)處理單元做同步操作，其中，所述數(shù)據(jù)同步指令包括多個(gè)操作碼，其中各個(gè)操作碼表示該神經(jīng)網(wǎng)絡(luò)處理單元是否參與同步操作。

6.根據(jù)權(quán)利要求5所述裝置，其中，所述神經(jīng)網(wǎng)絡(luò)處理單元還包括高速緩存單元和IO讀取單元：

所述IO讀取單元用于根據(jù)運(yùn)算指令從該神經(jīng)網(wǎng)絡(luò)處理單元的外部讀取數(shù)據(jù)，并將讀取的數(shù)據(jù)緩存至所述高速緩存單元中，所述神經(jīng)網(wǎng)絡(luò)運(yùn)算單元根據(jù)該運(yùn)算指令從所述高速緩存單元中讀取所緩存的數(shù)據(jù)，并執(zhí)行神經(jīng)網(wǎng)絡(luò)運(yùn)算，得到運(yùn)算結(jié)果數(shù)據(jù)；

所述神經(jīng)網(wǎng)絡(luò)運(yùn)算單元將所述運(yùn)算結(jié)果數(shù)據(jù)寫(xiě)入至所述高速緩存單元中，所述IO讀取單元從所述高速緩存單元中讀取所述運(yùn)算結(jié)果數(shù)據(jù)，并將所述運(yùn)算結(jié)果數(shù)據(jù)寫(xiě)入到該神經(jīng)網(wǎng)絡(luò)處理單元的外部，

其中，所述運(yùn)算指令中第一個(gè)操作碼表示具體的計(jì)算任務(wù)，其余操作碼用來(lái)表示輸入輸出數(shù)據(jù)的地址和大小，以及神經(jīng)網(wǎng)絡(luò)計(jì)算指令的配置信息。

7.根據(jù)權(quán)利要求6所述裝置，其中，所述神經(jīng)網(wǎng)絡(luò)處理單元還包括指令隊(duì)列，所述指令隊(duì)列用于存儲(chǔ)指令，所述指令包括：數(shù)據(jù)送達(dá)指令、數(shù)據(jù)依賴指令、數(shù)據(jù)同步指令和運(yùn)算指令。

8.根據(jù)權(quán)利要求7所述裝置，其中，所述指令隊(duì)列還存儲(chǔ)有輸入輸出指令，其中的操作碼分別表示搬運(yùn)數(shù)據(jù)的起始地址，結(jié)束地址以及數(shù)據(jù)大小的信息，神經(jīng)網(wǎng)絡(luò)處理單元執(zhí)行輸入輸出指令以與其余模塊之間進(jìn)行通信數(shù)據(jù)。