[發明專利]一種卷積計算方法、SOC芯片、電子設備及存儲介質

在審

• 申請號: 202211718228.5
• 申請日: 2022-12-29
• 公開（公告）號: CN116050474A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 蔡慜
• 申請（專利權）人: 上海天數智芯半導體有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/063;G06F17/15;G06F17/16
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 呂愛霞

本申請涉及一種卷積計算方法、SOC芯片、電子設備及存儲介質，屬于計算機技術領域。該卷積計算方法包括：獲取包含H*W個第一圓柱體的輸入特征圖數據；獲取N個包含R*S個第二圓柱體的卷積核；每一輪從所述輸入特征圖數據中獲取H*S個第一圓柱體，并將該輪獲取的H*S個第一圓柱體分別與N個卷積核中對應的第二圓柱體進行卷積計算，得到輸出特征圖中的P個圓柱體的一列，經過Q輪卷積計算，得到包含P*Q個第三圓柱體的輸出特征圖。該卷積計算方法通過將二維矩陣中的一行或一列抽象為三維的圓柱體(數組)，使得在進行卷積計算時，無需將輸入特征圖數據展開，即可實現所需的卷積計算，進一步提高卷積計算效率和性能功耗比。

技術領域

本申請屬于計算機技術領域，具體涉及一種卷積計算方法、SOC芯片、電子設備及存儲介質。

背景技術

卷積(Convolution)廣泛應用于傳統的圖像濾波和目前流行的深度學習，其所具有的網絡局部連接和卷積核參數共享的特點，使得卷積神經網絡在圖像識別和圖像分類中占據主流。卷積的核心操作就是滑窗，圖1顯示了單通道(Channel)卷積操作的卷積過程，卷積核內的每個權重會根據自己在卷積核內的相對位置與輸入特征圖里相對應的數據進行相乘并累加操作。示例的輸入特征圖尺寸是高H＝6，寬W＝6；卷積核尺寸是高R＝3，寬S＝3；輸出特征圖尺寸是高P＝4，寬Q＝4；步長stride＝1，表示每次卷積的相對偏移量。各變量之間的關系是P＝(H-R)/stride+1，Q＝(W-S)/stride+1。

當前，在進行卷積操作時，通常是通過im2col(Image?to?Column，圖像到列轉換)把卷積操作轉化為矩陣操作，圖2示出了將圖1所示的卷積操作轉換為矩陣操作的原理。圖2中左矩陣的每行對應一次卷積操作對應的輸入特征圖，一行有R*S＝9個輸入特征值，由于步長為1，一共要移動滑動窗做16次卷積操作，所以共有P*Q＝16行，但是因卷積的滑窗特性會導致左矩陣在斜對角方向上有大量重復的數據。右矩陣是卷積核展開的列向量，這樣就能通過矩陣操作得到16個輸出特征值的列向量，其實就是卷積操作產生的4*4輸出特征值。

根據展開數據的位置和方法不同，一般分為顯式通用矩陣乘(explicit?GEMM(GEneral?Matrix?Multiplication))，隱式通用矩陣乘(implicit?GEMM)和預計算偏移量的通用矩陣乘(pre-compute?offset?GEMM)。但是這三種通用矩陣乘方式都需要將輸入特征圖(Feature?Map)數據展開，從而會產生很多重復的數據，這會加大內存占用和數據搬運量。

發明內容

鑒于此，本申請的目的在于提供一種卷積計算方法、SOC芯片、電子設備及存儲介質，以改善現有卷積方法需要將數據展開，導致會產生很多重復的數據，從而加大內存占用和數據搬運的問題。

本申請的實施例是這樣實現的：

第一方面，本申請實施例提供了一種卷積計算方法，所述方法包括：獲取包含H*W個第一圓柱體的輸入特征圖數據，其中，H表示所述輸入特征圖數據的高，W表示所述輸入特征圖數據的寬，一個所述第一圓柱體包含H*W維度上的一個元素位置沿輸入通道所在方向上的Cin個數據，Cin為輸入通道數。獲取N個包含R*S個第二圓柱體的卷積核，其中，R表示每個所述卷積核的高、S表示每個所述卷積核的寬，一個所述第二圓柱體包含R*S維度上的一個元素位置沿輸入通道所在方向上的Cin個數據，N為大于等于1的正整數；每一輪從所述輸入特征圖數據中獲取H*S個第一圓柱體，并將該輪獲取的H*S個第一圓柱體分別與N個卷積核中對應的第二圓柱體進行卷積計算，得到輸出特征圖中的一列，經過Q輪卷積計算，得到包含P*Q個第三圓柱體的輸出特征圖；或者，每一輪從所述輸入特征圖數據中獲取W*R個第一圓柱體，并將該輪獲取的W*R個第一圓柱體分別與N個卷積核中對應的第二圓柱體進行卷積計算，得到輸出特征圖中的一行，經過P輪卷積計算，得到包含P*Q個第三圓柱體的輸出特征圖；其中，P表示所述輸出特征圖的高、Q表示所述輸出特征圖的寬，每一個所述第三圓柱體包含N個元素，每個元素為R*S個第二圓柱體與各自對應的第一圓柱體的乘累加結果。