[發(fā)明專利]一種用于執(zhí)行卷積神經(jīng)網(wǎng)絡(luò)正向運(yùn)算的裝置和方法

在審

• 申請?zhí)枺?/td>: 202010616975.2
• 申請日: 2016-04-29
• 公開（公告）號: CN111860813A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 陳天石;韓棟;陳云霽;劉少禮;郭崎
• 申請（專利權(quán)）人: 中科寒武紀(jì)科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供了一種執(zhí)行卷積神經(jīng)網(wǎng)絡(luò)的裝置，其中裝置部分包括了指令存儲單元、控制器單元、數(shù)據(jù)訪問單元、互連模塊、主運(yùn)算模塊、以及多個從運(yùn)算模塊。使用該裝置可以實現(xiàn)一層或多層人工神經(jīng)網(wǎng)絡(luò)卷積層的正向運(yùn)算。對于每一層來說，首先對輸入神經(jīng)元向量依據(jù)卷積窗口進(jìn)行數(shù)據(jù)選擇，然后與卷積核進(jìn)行卷積運(yùn)算，計算出本層的中間結(jié)果，然后對該中間結(jié)果加偏置并激活得到輸出數(shù)據(jù)。將輸出數(shù)據(jù)作為下一層的輸入數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明總體上涉及人工神經(jīng)網(wǎng)絡(luò)，具體地涉及一種用于執(zhí)行卷積神經(jīng)網(wǎng)絡(luò)正向運(yùn)算的裝置和方法。

背景技術(shù)

卷積神經(jīng)網(wǎng)絡(luò)是近年來廣泛應(yīng)用于模式識別、圖像處理等領(lǐng)域的一種高效識別算法，它具有結(jié)構(gòu)簡單、訓(xùn)練參數(shù)少和適應(yīng)性強(qiáng)、平移、旋轉(zhuǎn)、縮放等特點。由于CNN/DNN的特征檢測層通過訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用CNN/DNN時，避免了顯示的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢。

在已有的計算機(jī)領(lǐng)域應(yīng)用中，與卷積運(yùn)算相關(guān)的應(yīng)用十分普遍。本發(fā)明專注于卷積神經(jīng)網(wǎng)絡(luò)，目前可以執(zhí)行此種運(yùn)算的主流裝置如下：

在現(xiàn)有技術(shù)中，一種進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算的已知方案是使用通用處理器，該方法通過通用寄存器堆和通用功能部件來執(zhí)行通用指令，從而執(zhí)行卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算。然而，該方法的缺點之一是單個通用處理器多用于標(biāo)量計算，在進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算時運(yùn)算性能較低。而使用多個通用處理器并行執(zhí)行時，通用處理器之間的相互通訊又有可能成為性能瓶頸。

在另一種現(xiàn)有技術(shù)中，使用圖形處理器(GPU)來進(jìn)行向量計算，其中，通過使用通用寄存器堆和通用流處理單元執(zhí)行通用SIMD指令來進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算。然而，上述方案中，GPU片上緩存太小，在進(jìn)行大規(guī)模卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算時需要不斷進(jìn)行片外數(shù)據(jù)搬運(yùn)，片外帶寬成為了主要性能瓶頸。

發(fā)明內(nèi)容

(一)要解決的技術(shù)問題

本發(fā)明的目的在于，提供一種支持卷積神經(jīng)網(wǎng)絡(luò)的裝置，解決現(xiàn)有技術(shù)中存在的受限于片間通訊、片上緩存不夠等問題。

(二)技術(shù)方案

本發(fā)明的一個方面提供了一種用于執(zhí)行卷積神經(jīng)網(wǎng)絡(luò)正向運(yùn)算的裝置，包括:控制器單元、數(shù)據(jù)訪問單元、互連模塊、主運(yùn)算模塊、以及多個從運(yùn)算模塊，其中：

所述控制器單元，用于讀取指令，將所述指令譯成控制所述數(shù)據(jù)訪問單元、所述主運(yùn)算模塊和所述從運(yùn)算模塊行為的控制信號；

所述數(shù)據(jù)訪問單元，用于執(zhí)行所述裝置的片外存儲的地址空間與所述裝置之間的數(shù)據(jù)或指令讀寫操作；

所述從運(yùn)算模塊，用于輸入數(shù)據(jù)和各自的卷積核并行執(zhí)行卷積運(yùn)算，獲得對應(yīng)的輸出標(biāo)量；

所述互連模塊，用于所述主運(yùn)算模塊和所述從運(yùn)算模塊之間的數(shù)據(jù)傳輸，在神經(jīng)網(wǎng)絡(luò)全連接層正向運(yùn)算開始之前，主運(yùn)算模塊通過互連模塊將輸入數(shù)據(jù)輸送到每一個從運(yùn)算模塊，在從運(yùn)算模塊的計算過程結(jié)束后，互連模塊逐級將各從運(yùn)算模塊的輸出標(biāo)量拼成中間結(jié)果，輸送回主運(yùn)算模塊；

所述主運(yùn)算模塊，用于根據(jù)所述中間結(jié)果獲得偏置結(jié)果，并利用偏置結(jié)果執(zhí)行激活函數(shù)操作。

本發(fā)明的另一方面提供了一種使用上述裝置執(zhí)行單層人工神經(jīng)網(wǎng)絡(luò)卷積層正向運(yùn)算的方法。

本發(fā)明的另一方面提供了一種使用上述裝置執(zhí)行多層人工神經(jīng)網(wǎng)絡(luò)卷積層正向運(yùn)算的方法。

(三)有益效果