[發明專利]一種面向異構眾核平臺的Im2col加速方法

在審

• 申請號: 202110349448.4
• 申請日: 2021-03-31
• 公開（公告）號: CN114219065A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 黃則強;劉沙;劉鑫;陳德訓;彭超;高捷;王宜鵬
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

本發明公開一種面向異構眾核平臺的Im2col加速方法，C*H*W的張量經過Im2col變換后的矩陣形狀為(C*Kh*Kw)*(Ho*Wo)，其中C是通道數，H和W分別為輸入的高度和寬度，Kh和Kw為卷積核大小，Ho和Wo為輸出張量的高度和寬度；根據C*Kh的大小選擇不同的算法：當C*Kh大于等于64時，從變換后的矩陣出發，按照C*Kh進行任務劃分；當C*Kh小于64時，從變換前的矩陣出發，按照C*H進行任務劃分。本發明有效提高了Im2col變換的運算效率，作為卷積計算的前處理過程，有效保障了卷積算子和卷積神經網絡的高效運行。

技術領域

本發明涉及一種面向異構眾核平臺的Im2col加速方法，屬于異構眾核平臺上的深度學習技術領域。

背景技術

卷積算子中的Im2col計算是將一個三維矩陣的輸入變為二維矩陣，以便用高效的矩陣乘來替換原始的卷積計算，具體來說，就是將C*H*W的張量轉化（C*Kh*Kw）*（Ho*Wo）的矩陣，其中C是通道數，H和W分別為輸入的高度和寬度，Kh和Kw為卷積核大小，Ho和Wo為輸出張量的高度和寬度。假定卷積核的尺寸為3*3，通道數為1，輸入為4*4，每次滑動一格，則輸出張量的形狀為2*2，通過Im2col變換生成的矩陣形狀為（1*3*3）*（2*2），計算過程如圖1所示。

深度學習中，作為一種特征提取的有效方法，卷積計算占有很大比重，目前存在多種卷積算法，包括Im2col算法、FFT、Winograd算法等，其中Im2col算法使用最多，適用范圍最為廣泛。這種方法是將比較復雜、不易優化的卷積計算轉化為矩陣計算，進而可以減少訪存時間，充分利用已經優化好的GEMM庫來加速卷積計算，因此該算法包含兩部分：Im2col的張量展開和矩陣乘計算，在矩陣乘性能足夠高的情況下，對Im2col進行深度眾核優化可以有效提升卷積計算的效率，從而進一步加速深度神經網絡的訓練。

目前在眾核平臺對卷積計算的優化主要集中在GEMM的優化，而對Im2col尚未進行深度優化，在GEMM性能足夠高的情況下，Im2col計算所占比重增加，影響卷積計算性能，進而影響深度神經網絡的整體運行效率，因此有必要針對Im2col設計一套對不同輸入張量都能有效加速的眾核加速算法。

發明內容

本發明的目的是提供一種面向異構眾核平臺的Im2col加速方法，其有效提高了Im2col變換的運算效率，作為卷積計算的前處理過程，有效保障了卷積算子和卷積神經網絡的高效運行。

為達到上述目的，本發明采用的技術方案是：提供一種面向異構眾核平臺的Im2col加速方法，C*H*W的張量經過Im2col變換后的矩陣形狀為(C*Kh*Kw)*(Ho*Wo)，其中C是通道數，H和W分別為輸入的高度和寬度，Kh和Kw為卷積核大小，Ho和Wo為輸出張量的高度和寬度；

根據C*Kh的大小選擇不同的算法：當C*Kh大于等于64時，從變換后的矩陣出發，按照C*Kh進行任務劃分；當C*Kh小于64時，從變換前的矩陣出發，按照C*H進行任務劃分；

當C*Kh大于等于64時，根據輸出張量的Ho和輸入張量的W選擇不同的實現：

當Ho*W小于可分配的最大空間時，計算過程如下：

S11、按照C*Kh將變換后的矩陣以Kw行為單元進行任務劃分，映射到從核核組；

S12、對變換后矩陣中的Kw行，通過DMA從輸入張量一次讀入對應的Ho*W個數據；

S13、對同一行的Kw個卷積核元素，從讀入數據分別可以得到對應的Ho*Wo個結果；

S14、分Kw次將每個卷積核對應的結果通過DMA寫回主存對應位置。

當Ho*W大于可分配的最大空間時，計算過程如下：

S21、按照C*Kh將變換后的矩陣以Kw行為單元進行任務劃分，映射到從核核組；

S22、根據局部存儲空間的大小，計算一行W個元素時，可容納的最大行數col_block；