[發明專利]Transformer模型不規則稀疏矩陣乘法運算方法與硬件架構

在審

• 申請號: 202210818335.9
• 申請日: 2022-07-13
• 公開（公告）號: CN115357850A
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 姜小波;莫志杰
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06N3/08;G06F7/487
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 霍健蘭

本發明提供了一種Transformer模型不規則稀疏矩陣乘法運算方法與硬件架構；其中方法為：設定運算陣列：運算陣列包括N個運算組；每個運算組均包括乘法單元、分配器和合并單元；對稀疏權重矩陣的行列順序進行重新排列，生成負載平衡的權重矩陣RCBA排列格式；輸入到運算陣列中：每個運算組中，乘法單元分別將對應行模塊的非零值與行模塊的行索引對應的輸入矩陣元素逐個相乘得到的乘法結果；分配器根據各個列模塊的列索引，將乘法結果分配到各個合并單元中進行合并。該方法可滿足不規則稀疏權重矩陣與稠密輸入矩陣的乘法加速，具有中間結果移動緩存開銷低、索引機制簡單以及復用率高的特點。

技術領域

本發明涉及集成電路設計領域，更具體地說，涉及一種Transformer模型不規則稀疏矩陣乘法運算方法與硬件架構。

背景技術

自然語言處理技術是人類使用語言與機器進行交互的橋梁，隨著深度學習的急速發展，各種用于自然語言處理的模型層出不窮，性能不斷提高，尤其是基于自注意力機制的Transformer模型被提出后，各種基于Transformer的模型在大部分自然語言處理任務上達到了領先的性能。

然而，高性能的Transformer模型帶來的代價是其巨大的模型和海量的參數，使得在邊緣端部署Transformer模型時，其海量的參數帶來極大的存儲和計算功耗，導致在硬件資源有限的邊緣端應用較為困難。為了能在邊緣端部署Transformer模型的加速，需要針對Transformer模型的計算和存儲等方面進行專用的加速器設計。

Transformer加速器的設計在算法上對模型進行壓縮，硬件上進行專有的定制架構設計。其中剪枝作為神經網絡模型壓縮最有效的方法之一，在剪枝后模型的權重矩陣由原本的稠密矩陣變成稀疏矩陣，給硬件計算帶來了新的挑戰。剪枝后的稀疏矩陣根據其規則性分為規則稀疏與不規則稀疏權重矩陣，其中適用范圍最大的不規則稀疏矩陣權重在硬件上進行計算時，由于其權重非零值的完全不規則性分布，帶來了運算陣列的計算負載不均衡、存儲單元的隨機性訪存以及高昂的索引匹配開銷。現有的Transformer加速器分為加速適用性范圍低的特定規則稀疏權重矩陣運算存儲架構設計、加速完全稠密的權重矩陣的運算存儲架構設計以及加速不規則稀疏權重矩陣運算的運算存儲架構設計，其中加速不規則稀疏權重的Transformer加速器考慮的數據流是輸入與權重都是完全稀疏的，或者都是稠密的。忽略了Transformer模型絕大部分的計算都是稠密輸入矩陣與稀疏權重矩陣的乘法，忽略了這種稀疏稠密矩陣乘法的計算負載可知性，使得在硬件設計上使得多出了部分不必要的數據移動和索引匹配開銷。同時其數據復用性較低，中間結果移動緩存開銷高，使得總體數據移動功耗增高。而對于在邊緣端部署Transformer模型來說，功耗是其中最重要的考慮因素之一。因此，急需一種針對Transformer計算負載特點的不規則稀疏矩陣乘法運算方法設計來提高加速器的整體能效。

發明內容

為克服現有技術中的缺點與不足，本發明的目的在于提供一種Transformer模型不規則稀疏矩陣乘法運算方法與硬件架構；該方法充分利用Transformer模型中占絕大部分計算的稀疏權重矩陣與稠密輸入矩陣乘法的計算負載已知性，可消除復雜的索引匹配機制和開銷、減少中間計算結果存儲和移動，同時數據復用率高；可滿足Transformer模型不規則稀疏權重矩陣與稠密輸入矩陣的乘法加速，具有中間結果移動緩存開銷低、索引機制簡單以及復用率高的特點。

為了達到上述目的，本發明通過下述技術方案予以實現：一種Transformer模型不規則稀疏矩陣乘法運算方法，其特征在于：包括如下步驟：

S1、設定運算陣列：運算陣列包括N個運算組；N為向量矩陣乘法并行度；每個運算組均包括G1個乘法單元、一個分配器和G2個合并單元；