[發明專利]一種面向異構眾核平臺的Im2col加速方法

在審

• 申請號: 202110349448.4
• 申請日: 2021-03-31
• 公開（公告）號: CN114219065A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 黃則強;劉沙;劉鑫;陳德訓;彭超;高捷;王宜鵬
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

1.一種面向異構眾核平臺的Im2col加速方法，C*H*W的張量經過Im2col變換后的矩陣形狀為(C*Kh*Kw)*(Ho*Wo)，其中C是通道數，H和W分別為輸入的高度和寬度，Kh和Kw為卷積核大小，Ho和Wo為輸出張量的高度和寬度；

其特征在于：根據C*Kh的大小選擇不同的算法：當C*Kh大于等于64時，從變換后的矩陣出發，按照C*Kh進行任務劃分；當C*Kh小于64時，從變換前的矩陣出發，按照C*H進行任務劃分；

當C*Kh大于等于64時，根據輸出張量的Ho和輸入張量的W選擇不同的實現：

當Ho*W小于可分配的最大空間時，計算過程如下：

S11、按照C*Kh將變換后的矩陣以Kw行為單元進行任務劃分，映射到從核核組；

S12、對變換后矩陣中的Kw行，通過DMA從輸入張量一次讀入對應的Ho*W個數據；

S13、對同一行的Kw個卷積核元素，從讀入數據分別可以得到對應的Ho*Wo個結果；

S14、分Kw次將每個卷積核對應的結果通過DMA寫回主存對應位置；

當Ho*W大于可分配的最大空間時，計算過程如下：

S21、按照C*Kh將變換后的矩陣以Kw行為單元進行任務劃分，映射到從核核組；

S22、根據局部存儲空間的大小，計算一行W個元素時，可容納的最大行數col_block；

S23、對變換后矩陣中的Kw行，在Ho方向進行劃分，分批次通過跨步DMA讀入，每次讀入col_block*W的數據，總的DMA數據量為Ho*W；

S24、根據讀入的col_block*W的數據，對同一行的Kw個卷積核元素，可以得到col_block*Wo個結果；

S25、分Kw次將每個卷積核對應的結果通過DMA寫回主存對應位置；

當C*Kh小于64時，從輸入張量出發，按照C*H進行任務劃分，以輸入張量的一行為單元進行計算，計算過程如下：

S31、將變換后矩陣中的所有元素初始化為0；

S32、按照C*H將輸入張量以行為單位進行任務劃分，映射到從核核組；

S33、每次通過DMA讀入一行輸入張量元素；

S34、對于輸入矩陣中的一行，在列方向對卷積核進行循環，確定輸出矩陣Ho方向的位置；

S35、在行方向對卷積核進行循環，得到每個卷積核對應的元素，通過跨步DMA將Kw*Wo的數據寫回主存。