[發(fā)明專利]卷積神經(jīng)網(wǎng)絡(luò)加速方法、裝置和計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011138174.6
• 申請(qǐng)日: 2020-10-22
• 公開（公告）號(hào): CN112183732A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 陳長林;李清江;于紅旗;駱暢航;宋兵;李楠;劉海軍;劉森;李智煒;王義楠;步凱;王偉;王璽;徐暉;刁節(jié)濤;曹榮榮
• 申請(qǐng)（專利權(quán)）人: 中國人民解放軍國防科技大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/063
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 高玉光

1.一種卷積神經(jīng)網(wǎng)絡(luò)加速方法，其特征在于，應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)加速器，所述卷積神經(jīng)網(wǎng)絡(luò)加速器包括至少一個(gè)塊單元，每個(gè)塊單元包括n*n個(gè)計(jì)算模塊和一個(gè)塊緩存，所述塊緩存包括2n-1個(gè)塊子緩存，所述計(jì)算模塊為憶阻器陣列，該方法包括：

利用2n-1個(gè)塊子緩存對(duì)應(yīng)接收輸入特征圖像的第i行至第i+2n-2行的輸入行數(shù)據(jù)；

將每一塊子緩存中的輸入行數(shù)據(jù)對(duì)應(yīng)輸入至n*n個(gè)計(jì)算模塊，預(yù)設(shè)方向上每一對(duì)角線上的計(jì)算模塊接收所述特征圖像的同一行的輸入行數(shù)據(jù)；

利用所述輸入特征圖像的第i行至第i+2n-2行的輸入行數(shù)據(jù)在所述n*n個(gè)計(jì)算模塊上計(jì)算，以獲得所述輸入特征圖像對(duì)應(yīng)的第i行至第i+n-1行的輸出行數(shù)據(jù)；

將塊子緩存中緩存的第i行至第i+n-1行的輸入行數(shù)據(jù)刪除，將第i+n行至第i+2n-2行的輸入行數(shù)據(jù)對(duì)應(yīng)前移至清空的塊子緩存中，所述i以n為增量自增，直至i大于所述輸入特征圖像的總行數(shù)。

2.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)加速方法，其特征在于，還包括：

預(yù)先將卷積核拆分成n個(gè)列向量，每個(gè)列向量包含輸入特征圖像的同一行數(shù)據(jù)的全部權(quán)值；

將n個(gè)列向量對(duì)應(yīng)映射至n*n個(gè)計(jì)算模塊，且同一行計(jì)算模塊的列向量相同，同一列計(jì)算模塊的列向量不相同。

3.根據(jù)權(quán)利要求2所述的卷積神經(jīng)網(wǎng)絡(luò)加速方法，其特征在于，所述輸入特征圖像的第i行至第i+2n-2行的輸入行數(shù)據(jù)在所述n*n個(gè)計(jì)算模塊上計(jì)算，以獲得所述輸入特征圖像對(duì)應(yīng)的第i行至第i+n-1行的輸出行數(shù)據(jù)，包括：

每一列的計(jì)算模塊獲取到的列向量和輸入行數(shù)據(jù)進(jìn)行卷積運(yùn)算，對(duì)應(yīng)輸出的卷積結(jié)果為對(duì)應(yīng)列的計(jì)算模塊輸出的輸出行數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的卷積神經(jīng)網(wǎng)絡(luò)加速方法，其特征在于，每個(gè)計(jì)算模塊包括一個(gè)計(jì)算緩存，還包括：

在卷積窗口在所述輸入特征圖像上按照預(yù)設(shè)步長向預(yù)設(shè)的方向移動(dòng)的過程中，控制所述計(jì)算緩存刪除上一卷積窗口中與當(dāng)前卷積窗口無關(guān)的卷積數(shù)據(jù)，并將與當(dāng)前卷積窗口相關(guān)的卷積數(shù)據(jù)保存在所述計(jì)算緩存中。

5.根據(jù)權(quán)利要求4所述的卷積神經(jīng)網(wǎng)絡(luò)加速方法，其特征在于，還包括：

利用所述計(jì)算緩存獲取當(dāng)前卷積窗口的當(dāng)前卷積核數(shù)據(jù)；

利用所述當(dāng)前卷積核數(shù)據(jù)和所述前卷積窗口相關(guān)的輸入行數(shù)據(jù)計(jì)算所述當(dāng)前卷積窗口對(duì)應(yīng)的卷積結(jié)果，所述卷積窗口按照預(yù)設(shè)的步長向預(yù)設(shè)的方向移動(dòng)。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的卷積神經(jīng)網(wǎng)絡(luò)加速方法，其特征在于，n等于3。

7.一種卷積神經(jīng)網(wǎng)絡(luò)加速裝置，其特征在于，應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)加速器，所述卷積神經(jīng)網(wǎng)絡(luò)加速器包括至少一個(gè)塊單元，每個(gè)塊單元包括n*n個(gè)計(jì)算模塊和一個(gè)塊緩存，所述塊緩存包括2n-1個(gè)塊子緩存，所述計(jì)算模塊為憶阻器陣列，該裝置包括：

輸入行數(shù)據(jù)保存模塊，用于利用2n-1個(gè)塊子緩存對(duì)應(yīng)接收輸入特征圖像的第i行至第i+2n-2行的輸入行數(shù)據(jù)；

輸入行數(shù)據(jù)應(yīng)用模塊，用于將每一塊子緩存中的輸入行數(shù)據(jù)對(duì)應(yīng)輸入至n*n個(gè)計(jì)算模塊，預(yù)設(shè)方向上每一對(duì)角線上的計(jì)算模塊接收所述特征圖像的同一行的輸入行數(shù)據(jù)；

輸出行數(shù)據(jù)獲取模塊，用于利用所述輸入特征圖像的第i行至第i+2n-2行的輸入行數(shù)據(jù)在所述n*n個(gè)計(jì)算模塊上計(jì)算，以獲得所述輸入特征圖像對(duì)應(yīng)的第i行至第i+n-1行的輸出行數(shù)據(jù)；

輸入行數(shù)據(jù)更新模塊，用于將塊子緩存中緩存的第i行至第i+n-1行的輸入行數(shù)據(jù)刪除，將第i+n行至第i+2n-2行的輸入行數(shù)據(jù)對(duì)應(yīng)前移至清空的塊子緩存中，所述i以n為增量自增，直至i大于所述輸入特征圖像的總行數(shù)。

8.根據(jù)權(quán)利要求7所述的卷積神經(jīng)網(wǎng)絡(luò)加速裝置，其特征在于，還包括：

第一預(yù)處理模塊，用于預(yù)先將卷積核拆分成n個(gè)列向量，每個(gè)列向量包含輸入特征圖像的同一行數(shù)據(jù)的全部權(quán)值；

第二預(yù)處理模塊，用于將n個(gè)列向量對(duì)應(yīng)映射至n*n個(gè)計(jì)算模塊，且同一行計(jì)算模塊的列向量相同，同一列計(jì)算模塊的列向量不相同。