[發(fā)明專利]用于乘加運(yùn)算的人工神經(jīng)網(wǎng)絡(luò)的處理系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810249510.0
• 申請(qǐng)日: 2016-04-18
• 公開（公告）號(hào): CN108416437B
• 公開（公告）日: 2021-08-03
• 發(fā)明（設(shè)計(jì)）人: 杜子?xùn)|;郭崎;陳天石;陳云霽
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/04;G06F15/78
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 任巖

本公開提供了一種用于乘加運(yùn)算的人工神經(jīng)網(wǎng)絡(luò)的處理系統(tǒng)及方法，其中，所述人工神經(jīng)網(wǎng)絡(luò)的處理系統(tǒng)，包括：多核心處理模塊，其包括多個(gè)核心處理模塊，用于執(zhí)行神經(jīng)網(wǎng)絡(luò)運(yùn)算中的乘加運(yùn)算。本公開用于乘加運(yùn)算的人工神經(jīng)網(wǎng)絡(luò)的處理系統(tǒng)及方法，其在神經(jīng)網(wǎng)絡(luò)處理系統(tǒng)中引入多核設(shè)計(jì)，從而提升神經(jīng)網(wǎng)絡(luò)處理系統(tǒng)的運(yùn)算速度，使得神經(jīng)網(wǎng)絡(luò)處理系統(tǒng)性能更高，更加高效。

本公開是2016年4月18日所提出的申請(qǐng)?zhí)枮?01610240416.X、發(fā)明名稱為《一種神經(jīng)網(wǎng)絡(luò)的處理方法、系統(tǒng)》的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)的處理系統(tǒng)及方法。

背景技術(shù)

在大數(shù)據(jù)時(shí)代，越來(lái)越多的設(shè)備需要對(duì)于真實(shí)世界的實(shí)時(shí)輸入進(jìn)行越來(lái)越復(fù)雜的處理，如工業(yè)機(jī)器人、自動(dòng)駕駛無(wú)人汽車以及移動(dòng)設(shè)備等等。這些任務(wù)大多數(shù)偏向于機(jī)器學(xué)習(xí)領(lǐng)域，其中大部分運(yùn)算為向量運(yùn)算或者矩陣運(yùn)算，具有極高的并行度。相較于傳統(tǒng)通用的GPU/CPU加速方案，硬件ASIC加速器是目前最受歡迎的加速方案，一方面可以提供極高的并行度可以實(shí)現(xiàn)極高的性能，另外一方面具有極高的能效性。

常見的神經(jīng)網(wǎng)絡(luò)算法中，包括最為流行的多層感知神經(jīng)網(wǎng)絡(luò)(Multi-LayerPerceptron，MLP)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)和深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)，通常包含多層神經(jīng)元而每層神經(jīng)元常常通過(guò)特定方式進(jìn)行組織，如卷積神經(jīng)網(wǎng)絡(luò)中按照特征圖(Feature Map)進(jìn)行組織。每個(gè)輸出特征圖的處理常常獨(dú)立于彼此。

神經(jīng)網(wǎng)絡(luò)的絕大部分運(yùn)算為輸入神經(jīng)元到輸出神經(jīng)元的處理，少量運(yùn)算為不需要輸出神經(jīng)元參與的運(yùn)算，如非線性運(yùn)算。神經(jīng)網(wǎng)絡(luò)中每層的運(yùn)算速度深切的影響了神經(jīng)網(wǎng)絡(luò)加速器的性能。神經(jīng)網(wǎng)絡(luò)加速器中，提升這些運(yùn)算的并行度，也即加速器的吞吐量，為提升神經(jīng)網(wǎng)絡(luò)加速器的性能的主要手段。現(xiàn)有技術(shù)中，執(zhí)行輸入神經(jīng)元到輸出神經(jīng)元的處理的模塊通常為單核設(shè)計(jì)，難以滿足神經(jīng)網(wǎng)絡(luò)加速器的性能要求。

綜上可知，現(xiàn)有技術(shù)在實(shí)際使用上顯然存在不便與缺陷，所以有必要加以改進(jìn)。

發(fā)明內(nèi)容

針對(duì)上述的缺陷，本公開的目的在于提供一種神經(jīng)網(wǎng)絡(luò)的處理系統(tǒng)及方法，其在神經(jīng)網(wǎng)絡(luò)處理系統(tǒng)中引入多核設(shè)計(jì)，從而提升神經(jīng)網(wǎng)絡(luò)處理系統(tǒng)的運(yùn)算速度，使得神經(jīng)網(wǎng)絡(luò)處理系統(tǒng)性能更高，更加高效。

根據(jù)本公開的一個(gè)方面，提供了一種人工神經(jīng)網(wǎng)絡(luò)的處理系統(tǒng)，包括：多核心處理模塊，其包括多個(gè)核心處理模塊，用于執(zhí)行神經(jīng)網(wǎng)絡(luò)運(yùn)算中的乘加運(yùn)算。

在一些實(shí)施例中，所述的處理系統(tǒng)還包括：至少一片上存儲(chǔ)介質(zhì)，用于存儲(chǔ)由神經(jīng)網(wǎng)絡(luò)處理系統(tǒng)外部傳來(lái)的數(shù)據(jù)或用于存儲(chǔ)處理過(guò)程中產(chǎn)生的數(shù)據(jù)；以及至少一ALU模塊，用于從所述多核心處理模塊或所述片上存儲(chǔ)介質(zhì)獲取輸入數(shù)據(jù)執(zhí)行所述多核心處理模塊無(wú)法完成的非線性運(yùn)算；其中，所述多個(gè)核心處理模塊共享所述片上存儲(chǔ)介質(zhì)以及ALU模塊，或者所述多個(gè)核心處理模塊具有獨(dú)立的所述片上存儲(chǔ)介質(zhì)以及ALU模塊。

在一些實(shí)施例中，所述的處理系統(tǒng)還包括：至少一片內(nèi)地址索引模塊，用于執(zhí)行運(yùn)算時(shí)根據(jù)輸入的索引映射至正確的存儲(chǔ)地址。

在一些實(shí)施例中，所述處理過(guò)程中產(chǎn)生的數(shù)據(jù)包括處理結(jié)果或中間結(jié)算結(jié)果。

在一些實(shí)施例中，該多個(gè)核心處理模塊共同復(fù)用輸入神經(jīng)元和/或權(quán)值。

在一些實(shí)施例中，所述神經(jīng)網(wǎng)絡(luò)的處理系統(tǒng)進(jìn)行處理時(shí)，將同一輸入神經(jīng)元分別發(fā)送至所述多個(gè)核心處理模塊，將不同的輸入權(quán)值分配至不同的核心處理模塊，所述多個(gè)核心處理模塊分別將所述輸入神經(jīng)元和輸入權(quán)值進(jìn)行向量?jī)?nèi)積操作后得到不同的輸出神經(jīng)元。

在一些實(shí)施例中，所述多個(gè)核心處理模塊共同處理同一特征圖時(shí)，共同復(fù)用權(quán)值。