[發(fā)明專利]卷積神經(jīng)網(wǎng)絡加速方法、裝置和計算機設備

在審

• 申請?zhí)枺?/td>: 202011138174.6
• 申請日: 2020-10-22
• 公開（公告）號: CN112183732A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設計）人: 陳長林;李清江;于紅旗;駱暢航;宋兵;李楠;劉海軍;劉森;李智煒;王義楠;步凱;王偉;王璽;徐暉;刁節(jié)濤;曹榮榮
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 北京超成律師事務所 11646
• 代理人: 高玉光

本發(fā)明實施例公開了卷積神經(jīng)網(wǎng)絡加速方法、裝置和計算機設備，利用2n?1個塊子緩存對應接收輸入特征圖像的第i行至第i+2n?2行的輸入行數(shù)據(jù)；將每一塊子緩存中的輸入行數(shù)據(jù)對應輸入至n*n個計算模塊，預設方向上每一對角線上的計算模塊接收特征圖像的同一行的輸入行數(shù)據(jù)；輸入特征圖像的第i行至第i+2n?2行的輸入行數(shù)據(jù)在n*n個計算模塊上計算；將塊子緩存中緩存的第i行至第i+n?1行的輸入行數(shù)據(jù)刪除，將第i+n行至i+2n?2行的輸入行數(shù)據(jù)對應前移至清空的塊子緩存中，i以n為增量自增，直至i大于輸入特征圖像的總行數(shù)。實現(xiàn)垂直卷積復用，避免頻繁讀取搬移數(shù)據(jù)，減少卷積運算時間。

技術領域

本發(fā)明涉及圖像識別領域，尤其涉及一種卷積神經(jīng)網(wǎng)絡加速方法、裝置和計算機設備。

背景技術

卷積神經(jīng)網(wǎng)絡的計算是一個計算密集型的過程，這一過程中存在大量的數(shù)據(jù)讀取與搬移，消耗大量的時間與能量，進而降低計算系統(tǒng)的計算速度。在現(xiàn)有的計算系統(tǒng)中，數(shù)據(jù)常常是存儲在片外存儲器中。在計算過程中，計算模塊需要從存儲器中不斷的讀取數(shù)據(jù)，其中一些相同的數(shù)據(jù)被重復的讀取。

發(fā)明內(nèi)容

鑒于上述問題，本發(fā)明提出一種卷積神經(jīng)網(wǎng)絡加速方法、裝置和計算機設備。

本發(fā)明的一個實施例提出一種卷積神經(jīng)網(wǎng)絡加速方法，應用于卷積神經(jīng)網(wǎng)絡加速器，所述卷積神經(jīng)網(wǎng)絡加速器包括至少一個塊單元，每個塊單元包括n*n個計算模塊和一個塊緩存，所述塊緩存包括2n-1個塊子緩存，所述計算模塊為憶阻器陣列，該方法包括：

利用2n-1個塊子緩存對應接收輸入特征圖像的第i行至第i+2n-2行的輸入行數(shù)據(jù)；

將每一塊子緩存中的輸入行數(shù)據(jù)對應輸入至n*n個計算模塊，預設方向上每一對角線上的計算模塊接收所述特征圖像的同一行的輸入行數(shù)據(jù)；

利用所述輸入特征圖像的第i行至第i+2n-2行的輸入行數(shù)據(jù)在所述n*n個計算模塊上計算，以獲得所述輸入特征圖像對應的第i行至第i+n-1行的輸出行數(shù)據(jù)；

將塊子緩存中緩存的第i行至第i+n-1行的輸入行數(shù)據(jù)刪除，將第i+n行至第i+2n-2行的輸入行數(shù)據(jù)對應前移至清空的塊子緩存中，所述i以n為增量自增，直至i大于所述輸入特征圖像的總行數(shù)。

上述的卷積神經(jīng)網(wǎng)絡加速方法，還包括：

預先將卷積核拆分成n個列向量，每個列向量包含輸入特征圖像的同一行數(shù)據(jù)的全部權值；

將n個列向量對應映射至n*n個計算模塊，且同一行計算模塊的列向量相同，同一列計算模塊的列向量不相同。

上述的卷積神經(jīng)網(wǎng)絡加速方法，所述輸入特征圖像的第i行至第i+2n-2行的輸入行數(shù)據(jù)在所述n*n個計算模塊上計算，以獲得所述輸入特征圖像對應的第i行至第i+n-1行的輸出行數(shù)據(jù)，包括：

每一列的計算模塊獲取到的列向量和輸入行數(shù)據(jù)進行卷積運算，對應輸出的卷積結果為對應列的計算模塊輸出的輸出行數(shù)據(jù)。

本發(fā)明的另一個實施例所述的卷積神經(jīng)網(wǎng)絡加速方法，每個計算模塊包括一個計算緩存，還包括：

在卷積窗口在所述輸入特征圖像上按照預設步長向預設的方向移動的過程中，控制所述計算緩存刪除上一卷積窗口中與當前卷積窗口無關的卷積數(shù)據(jù)，并將與當前卷積窗口相關的卷積數(shù)據(jù)保存在所述計算緩存中。

進一步的，上述的卷積神經(jīng)網(wǎng)絡加速方法，還包括：

利用所述計算緩存獲取當前卷積窗口的當前卷積核數(shù)據(jù)；

利用所述當前卷積核數(shù)據(jù)和所述前卷積窗口相關的輸入行數(shù)據(jù)計算所述當前卷積窗口對應的卷積結果，所述卷積窗口按照預設的步長向預設的方向移動。

本發(fā)明實施例所述的卷積神經(jīng)網(wǎng)絡加速方法，n等于3。