[發明專利]一種用于矩陣乘法密集型算法的可重構矩陣乘法加速系統

在審

• 申請號: 202011264343.0
• 申請日: 2020-11-12
• 公開（公告）號: CN112395549A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 王超;余國義;詹翊;汪釗旭
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

本發明公開了一種用于矩陣乘法密集型算法的可重構矩陣乘法加速系統，包括：緩存器、可重構矩陣乘法控制器、存儲控制器、數據存儲器和可重構運算陣列；本發明通過可重構矩陣乘法控制器預先統計矩陣乘法密集型算法中所有進行矩陣乘法運算的矩陣尺寸及矩陣乘法運算量，對算法中的各矩陣乘法進行分類，并確定可重構運算陣列的規模及所具有的工作模式，使得當待計算矩陣乘法輸入系統中時，基于矩陣尺寸判斷矩陣乘法的類別以確定可重構運算陣列的工作模式，并根據該工作模式對應配置存儲控制器對矩陣進行分割，同時配置可重構運算陣列中運算單元的互聯及可重構運算陣列中的數據流來完成矩陣乘法運算，大大提升矩陣乘法密集型算法中矩陣乘法的運算效率。

技術領域

本發明屬于矩陣乘法的硬件加速設計領域，更具體地，涉及一種用于矩陣乘法密集型算法的可重構矩陣乘法加速系統。

背景技術

在如今人工智能大潮下，各式各樣的算法都會涉及到大量的矩陣乘法。且對于那些矩陣乘法密集型的算法而言，每個算法內都會涉及到一系列不同的矩陣乘法，且這些矩陣乘法所涉及到的矩陣尺寸往往也都是多種多樣且存在一定特殊性的。而可重構硬件加速由于其優秀的計算性能，較高的計算能效和可持續發展的成本優勢被廣泛地應用于硬件加速設計中。所以本發明專注于可重構矩陣乘法硬件加速設計，并提出用于矩陣乘法密集型算法的可重構矩陣乘法硬件加速系統和方法。

在現有的可重構矩陣乘法硬件加速方法中，大多是針對矩陣的存儲規則進行設計或者著重于對數據的控制和調度進行設計，并沒有對矩陣乘法的運算部分進行設計和優化，矩陣乘法的運算效率較低。另外，這兩種方法也沒有針對具體算法中矩陣尺寸的特殊性和多樣性來做優化設計，并不能足夠高效地加速那些具體算法中的多種多樣的矩陣乘法，當服務于具體矩陣乘法密集型算法中時，矩陣乘法硬件加速的效率較低。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種用于矩陣乘法密集型算法的可重構矩陣乘法加速系統，其目的在于解決現有技術應用于矩陣乘法密集型算法時運算效率較低的技術問題。

為實現上述目的，本發明提供了一種用于矩陣乘法密集型算法的可重構矩陣乘法加速系統，包括：緩存器、可重構矩陣乘法控制器、存儲控制器、數據存儲器和可重構運算陣列；其中，可重構運算陣列為多個PE單元互聯組成的陣列，其規模由矩陣乘法密集型算法中所有進行矩陣乘法運算的矩陣尺寸、應用場景以及所要求的運算效率確定；

緩存器用于接收并緩存矩陣乘法密集型算法中的當前待計算矩陣乘法的矩陣；

可重構矩陣乘法控制器用于獲取緩存器中當前待進行矩陣乘法運算的矩陣尺寸，基于矩陣尺寸判斷矩陣乘法的類別以確定可重構運算陣列的當前工作模式，并根據當前工作模式對存儲控制器和可重構運算陣列進行配置；

存儲控制器用于控制緩存器將其緩存的當前待計算矩陣乘法的矩陣存儲到數據存儲器中；基于當前配置控制數據存儲器將當前待計算矩陣乘法的矩陣按照預設分割模式進行分割后以脈動的方式輸入到可重構運算陣列中；

可重構運算陣列用于基于存儲控制器的輸入控制，實現矩陣的乘法運算，并將計算結果存儲至數據存儲器中。

進一步優選地，可重構矩陣乘法控制器預先統計矩陣乘法密集型算法中的所有進行矩陣乘法運算A×B的矩陣A、B的尺寸以及矩陣乘法運算量，以矩陣中行數和列數之間的差異為特征，同時根據矩陣乘法中A矩陣的列數和B矩陣的行數必須相等這一規則，將矩陣乘法劃分為六大類，具體為：矩陣A為橫長條且矩陣B為豎長條，矩陣A為豎長條且矩陣B為橫長條，矩陣A為豎長條且矩陣B為方正形，矩陣A為方正形且矩陣B為橫長條，矩陣A和B均為方正形以及矩陣A為橫長條且矩陣B為方正形；然后根據各類矩陣乘法的計算量占整個算法中所有矩陣乘法總計算量的比例分布，對矩陣乘法進行重組分類，且在重組過程中，避免將矩陣A為橫長條和矩陣A為豎長條的矩陣乘法劃分為一類，以及避免將矩陣B為橫長條和矩陣B為豎長條的矩陣乘法劃分為一類，以保證重組分類后的各類矩陣乘法的計算量相差在20％以內。