[發(fā)明專利]卷積神經(jīng)網(wǎng)絡(luò)操作實現(xiàn)方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210141616.5
• 申請日: 2022-02-16
• 公開（公告）號: CN114611683A
• 公開（公告）日: 2022-06-10
• 發(fā)明（設(shè)計）人: 曹玉龍;張堯;孫康睿;陳標(biāo)發(fā);景博
• 申請（專利權(quán)）人: 杭州未名信科科技有限公司;浙江省北大信息技術(shù)高等研究院
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F3/06
• 代理公司: 北京辰權(quán)知識產(chǎn)權(quán)代理有限公司 11619
• 代理人: 王衛(wèi)麗

本申請?zhí)岢鲆环N卷積神經(jīng)網(wǎng)絡(luò)操作實現(xiàn)方法、裝置、設(shè)備及存儲介質(zhì)，方法包括：將待處理圖像數(shù)據(jù)分別讀取到第一預(yù)設(shè)數(shù)目個第一緩存器中；將卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值數(shù)據(jù)分別讀取到第二預(yù)設(shè)數(shù)目個第二緩存器中；第二預(yù)設(shè)數(shù)目小于第一預(yù)設(shè)數(shù)目；基于權(quán)值數(shù)據(jù)對待處理圖像數(shù)據(jù)進(jìn)行第三預(yù)設(shè)數(shù)目并行度的卷積神經(jīng)網(wǎng)絡(luò)操作；第三預(yù)設(shè)數(shù)目為第一預(yù)設(shè)數(shù)目的整數(shù)倍。本申請從本質(zhì)上解決了卷積神經(jīng)網(wǎng)絡(luò)計算延遲大的問題，且極大降低了處理器的功耗和成本。

技術(shù)領(lǐng)域

本申請屬于卷積神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體涉及一種卷積神經(jīng)網(wǎng)絡(luò)操作實現(xiàn)方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)模型(Convolutional Neural Networks，CNN)是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一。由于卷積神經(jīng)網(wǎng)絡(luò)模型計算過程較為復(fù)雜，處理的數(shù)據(jù)較多，所以，目前大多卷積神經(jīng)網(wǎng)絡(luò)模型都存在計算延遲的問題。

現(xiàn)有技術(shù)中，為提高卷積神經(jīng)網(wǎng)絡(luò)的處理速度，通常將卷積神經(jīng)網(wǎng)絡(luò)從CPU上卸載下來，采用異構(gòu)處理的方式進(jìn)行加速。目前使用到的主要異構(gòu)處理器有GPU、FPGA、ASIC等。但是，GPU只能做到指令流水，沒法做到數(shù)據(jù)流水，且功耗過高。而ASIC往往只能支持特定的卷積神經(jīng)網(wǎng)絡(luò)運算，且開發(fā)周期長，在當(dāng)前神經(jīng)網(wǎng)絡(luò)算法快速更迭的時代，往往流片出來算法就已經(jīng)過時了。

發(fā)明內(nèi)容

本申請?zhí)岢鲆环N卷積神經(jīng)網(wǎng)絡(luò)操作實現(xiàn)方法、裝置、設(shè)備及存儲介質(zhì)，從本質(zhì)上解決了卷積神經(jīng)網(wǎng)絡(luò)計算延遲大的問題，且極大降低了處理器的功耗和成本。

本申請第一方面實施例提出了一種卷積神經(jīng)網(wǎng)絡(luò)操作實現(xiàn)方法，所述方法包括：

將待處理圖像數(shù)據(jù)分別讀取到第一預(yù)設(shè)數(shù)目個第一緩存器中；

將卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值數(shù)據(jù)分別讀取到第二預(yù)設(shè)數(shù)目個第二緩存器中；所述第二預(yù)設(shè)數(shù)目小于所述第一預(yù)設(shè)數(shù)目；

基于所述權(quán)值數(shù)據(jù)對所述待處理圖像數(shù)據(jù)進(jìn)行第三預(yù)設(shè)數(shù)目并行度的卷積神經(jīng)網(wǎng)絡(luò)操作；所述第三預(yù)設(shè)數(shù)目為所述第一預(yù)設(shè)數(shù)目的整數(shù)倍。

在本申請一些實施方式中，基于所述權(quán)值數(shù)據(jù)對所述待處理圖像數(shù)據(jù)進(jìn)行第三預(yù)設(shè)數(shù)目并行度的卷積神經(jīng)網(wǎng)絡(luò)操作，包括：

基于預(yù)設(shè)卷積核的尺寸，自每個第一緩存器中均讀出相應(yīng)數(shù)目的待處理圖像數(shù)據(jù)；

根據(jù)第二緩存器中的權(quán)值數(shù)據(jù)和所述預(yù)設(shè)卷積核，對讀出的待處理圖像數(shù)據(jù)分別進(jìn)行第三預(yù)設(shè)數(shù)目并行度的卷積操作。

在本申請一些實施方式中，根據(jù)第二緩存器中的權(quán)值數(shù)據(jù)和所述預(yù)設(shè)卷積核，對讀出的待處理圖像數(shù)據(jù)分別進(jìn)行第三預(yù)設(shè)數(shù)目并行度的卷積操作，包括：

根據(jù)預(yù)設(shè)卷積核，將自每個第一緩存器中讀出的待處理圖像數(shù)據(jù)分別與對應(yīng)數(shù)目的權(quán)值數(shù)據(jù)進(jìn)行累加計算，得到第三預(yù)設(shè)數(shù)目個第一中間數(shù)據(jù)；

根據(jù)預(yù)設(shè)卷積核和預(yù)設(shè)依賴關(guān)系對所述第一中間數(shù)據(jù)進(jìn)行累加運算；

基于所有累加運算的結(jié)果得到待處理圖像數(shù)據(jù)的卷積操作結(jié)果。

在本申請一些實施方式中，每個緩存器中均存儲第四預(yù)設(shè)數(shù)目行，所述第四預(yù)設(shè)數(shù)目行等于所述第二預(yù)設(shè)數(shù)目，且二者的乘積等于所述第一預(yù)設(shè)數(shù)目；

根據(jù)預(yù)設(shè)卷積核，將自每個第一緩存器中讀出的待處理圖像數(shù)據(jù)分別與對應(yīng)數(shù)目的權(quán)值數(shù)據(jù)進(jìn)行累加運算，得到第三預(yù)設(shè)數(shù)目個第一中間數(shù)據(jù)，包括：

將自每個第一緩存器中讀出的每行待處理圖像數(shù)據(jù)，均分別與對應(yīng)的第五預(yù)設(shè)數(shù)目行的權(quán)值數(shù)據(jù)進(jìn)行乘法計算；所述第五預(yù)設(shè)數(shù)目等于預(yù)設(shè)卷積核的高度。

在本申請一些實施方式中，所述根據(jù)預(yù)設(shè)卷積核和預(yù)設(shè)依賴關(guān)系對所述第一中間數(shù)據(jù)進(jìn)行累加運算，包括：