[發明專利]數據傳遞及合并的方法

在審

• 申請號: 202011293554.7
• 申請日: 2020-11-18
• 公開（公告）號: CN114519166A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 林裕盛;陳維超;陳佩君
• 申請（專利權）人: 英業達科技有限公司;英業達股份有限公司
• 主分類號: G06F17/15
• 分類號: G06F17/15;G06N3/063;G06N3/04
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 徐秋平

本發明公開了一種數據傳遞及合并的方法，適用于彼此通訊連接的發送端及接收端，所述方法包括：發送端階段以及接收端階段。發送端階段包含：傳送第一區塊數據、第二區塊數據及第三區塊數據至接收端，取得第四區塊數據及第五區塊數據及傳送第三區塊數據、第四區塊數據及第五區塊數據至接收端。接收端階段包含接收第一區塊數據、第二區塊數據及第三區塊數據，合并第一區塊數據、第二區塊數據及第三區塊數據以進行一卷積運算，接收第四區塊數據、第五區塊數據，及合并第三區塊數據、第四區塊數據及第五區塊數據以進行另一卷積運算。

技術領域

本發明關于卷積神經網絡加速器，特別是一種在平鋪式處理的卷積運算中切割數據進行傳遞及合并數據的方法。

背景技術

卷積神經網絡(Convolution Neural Network，CNN)是目前被認為在電腦視覺及影像處理上最廣泛被使用的機器學習技術之一。卷積神經網絡的主要運算是卷積核(kernel)與特征圖(feature map)之間的卷積，其通過乘積累加(Multiply Accumulate，MAC)運算而消耗大量功率。

比起冗余運算的能源浪費，如何提升數據存取能力以及減少數據傳輸頻寬在未來的加速器設計中更加重要。一則因為存儲器頻寬成長速度慢于處理單元的運算速度，意味著相同的演算法可能受限于存儲器及其架構；二則因為目前的神經網絡多采用小卷積核配合更深的網絡，這樣減少了MAC運算但增加了存儲器用量。據統計，隨著神經網絡的模型演進，在動態隨機存取存儲器(Dynamic Random Access Memory，DRAM)上存取特征圖所消耗的功率比起其他運算消耗的功率更加可觀。

目前的CNN通常采用平鋪式處理(tiled processing)，也就是處理單元每次從外部儲存器載入一個區塊進行運算。例如：外部儲存器DRAM儲存的數據區塊未經壓縮而直接被載入至靠近處理單元的靜態隨機存取存儲器(Static Random Access Memory，SRAM)作為快取。然而，這種方式在每次切換處理區塊時而存取DRAM時，需要消耗大量的功率并占用大量的存儲器頻寬。例如：將DRAM儲存的數據切割成多個相同大小的子張量并且壓縮，再將壓縮后的各個子張量傳送至SRAM解壓縮，處理單元從SRAM提取所需的區塊數據進行運算。雖然壓縮區塊數據可以節省數據傳輸時消耗的功率及占用的頻寬，然而，若子張量切割大小設置過大，可能導致SRAM儲存本次處理時不會使用的數據，造成SRAM空間的浪費。或者為了取得完整的區塊數據，而花費時間解壓縮大文件，但其中只有少量數據可用。另一方面，若子張量切割大小設置過小，為了以正確的順序解壓縮還原出完整的區塊數據，需要額外占用頻寬載入大量的指標以獲取每一個壓縮文件所屬的位置。

發明內容

有鑒于此，本發明提出一種有效率且硬件導向的數據存取方案，適用于CNN的特征圖。本發明將數據分割為不同大小的子張量(subtensor)，并且使用少量的指標，在已壓縮但是隨機存取的格式下儲存這些子張量。這種設計使目前的CNN加速器能夠以平鋪式處理的方式即時獲取和解壓縮子張量。本發明適用于需要對齊、合并的數據存取架構，并且只需要對現有架構進行小幅度的修改即可適用于本發明。

依據本發明一實施例的一種數據傳遞及合并的方法，適用于彼此通訊連接的發送端及接收端，所述方法包括：發送端階段以及接收端階段。發送端階段包含：傳送第一區塊數據、第二區塊數據及第三區塊數據至接收端，取得第四區塊數據及第五區塊數據及傳送第三區塊數據、第四區塊數據及第五區塊數據至接收端。接收端階段包含接收第一區塊數據、第二區塊數據及第三區塊數據，合并第一區塊數據、第二區塊數據及第三區塊數據以進行一卷積運算，接收第四區塊數據、第五區塊數據，及合并第三區塊數據、第四區塊數據及第五區塊數據以進行另一卷積運算。

綜上所述，本發明提出了一種用于輸入特征圖的有效儲存方案，可減少外部儲存器的頻寬，并且符合現有的CNN加速器架構中的儲存器存取模式。給定特定的CNN層和加速器配置，本發明可將張量數據切割為特定大小的多個子張量。現有的CNN加速器可在少量的硬件修改之下整合本發明。以提升整體效能。