[發明專利]基于結構化稀疏的循環神經網絡推理運算的加速系統及方法

有效

• 申請號: 202011114270.7
• 申請日: 2020-10-19
• 公開（公告）號: CN111931938B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 陶為;王中風;郭首亮;秦子迪
• 申請（專利權）人: 南京風興科技有限公司
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N3/04;G06N3/08
• 代理公司: 北京弘權知識產權代理事務所(普通合伙) 11363
• 代理人: 逯長明;許偉群

本申請涉及人工智能算法硬件加速技術領域，提供一種基于結構化稀疏的循環神經網絡推理運算的加速系統和方法，通過在LSTM模型訓練過程中，對權重值矩陣進行對數域量化和結構化稀疏，從而降低推理運算的復雜度，在推理運算時，經過對數域量化和結構化稀疏的權重值矩陣，數據量更小，硬件端可以從軟件端一次性讀取多行權重值矩陣，以便多行權重值可以在多個時間序列中被重復使用，進一步降低推理運算的復雜度，并利用暫存值儲存器存儲暫存值和累加值，從而優化推理運算的過程，減少加速系統訪問外界存儲器的頻次，降低大量訪存帶來的硬件功耗。

技術領域

本申請涉及人工智能算法硬件加速技術領域，尤其涉及一種基于結構化稀疏的循環神經網絡推理運算的加速系統及方法。

背景技術

長短期記憶（Long Short-Term Memory，LSTM）是一種時間循環神經網絡，相比于傳統的深度循環神經網絡，其引入記憶單元，以解決深度循環神經網絡智能處理當前出入信息的缺陷，因此在多個領域得到廣泛運用，如：語音識別，圖像處理，機器翻譯，自然語言處理等領域。

為了使長短期記憶網絡具備更好的預測精度，往往需要建立參數規模更大，時間序列更長，層數更深的LSTM模型，從而獲得更強的序列特征提取和表征能力。但是，由于LSTM模型的數據運算依賴于邏輯門單元電路，這種數據規模更大的LSTM模型，其運算過程需要占用更多的硬件資源。

例如，在LSTM網絡的層次運算過程中，由于同一層的時間序列共用權重參數，且下一層的輸入參數與上一層的輸出參數有關，需要重復調用外部數據容量較大的權重值矩陣，以及向外部存儲器存儲與提取每一層的輸出值，導致運算過程參數的訪問與存取，所涉及的訪問內存操作比計算操作消耗的能量高出兩個數量級以上，從而導致系統導致高功耗，在一些邊緣端設備很難實現實時運算。

發明內容

本申請提供了一種基于結構化稀疏的循環神經網絡推理運算的加速系統及方法，以在硬件資源占用率低的前提下，完成推理運算更復雜的LSTM加速運算。

本申請第一方面提供一種基于結構化稀疏的循環神經網絡推理運算的加速系統，包括軟件端和硬件端；

所述軟件端包括由外部儲存保存的輸入值和LSTM的配置參數，LSTM的配置參數包括權重值和偏移值，所述輸入值包括激活值，以及在外部CPU上運行的程序，所述軟件端將LSTM的推理運算任務加載到硬件端運行，CPU通過控制總線控制硬件端，通過數據總線將LSTM的配置參數和輸入值加載到硬件端，以及通過數據總線將硬件端的輸出結果讀取到軟件端；

所述硬件端包括：

頂層控制模塊，用于控制LSTM的推理運算任務運行；以及輸出控制信號，控制配置寄存器模塊、存儲器調度模塊、乘向量處理單元和非線性變換單元；

所述配置寄存器模塊，用于獲取軟件端的LSTM的配置參數；

所述存儲器調度模塊，用于獲取軟件端的輸入參數，以及將硬件端的輸出結果輸出到軟件端；

權重值存儲器，用于存儲經過軟件端對數域量化的權重值；

激活值存儲器，用于存儲經過軟件端定點量化的激活值；

偏移值存儲器，用于存儲經過軟件端定點量化的偏移值；

乘向量處理單元，用于將定點量化后的激活值作為循環神經網絡第一層的輸入；用于對權重值的后半部分進行對數域量化，并將定點量化后的激活值與對數域量化后的權重值相乘，并輸出暫存值；以及將循環神經網絡上一層輸出的暫存值作為循環神經網絡下一層輸入，與權重值相乘，輸出循環神經網絡下一層的暫存值；還用于累加循環神經網絡同一層的暫存值，獲得累加值；暫存值存儲器，用于存儲乘向量處理單元運算過程中的暫存值和累加值；

暫存值存儲器，用于存儲乘向量處理單元運算過程中的暫存值和累加值；