[發明專利]基于結構化稀疏的循環神經網絡推理運算的加速系統及方法

有效

• 申請號: 202011114270.7
• 申請日: 2020-10-19
• 公開（公告）號: CN111931938B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 陶為;王中風;郭首亮;秦子迪
• 申請（專利權）人: 南京風興科技有限公司
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N3/04;G06N3/08
• 代理公司: 北京弘權知識產權代理事務所(普通合伙) 11363
• 代理人: 逯長明;許偉群

1.一種基于結構化稀疏的循環神經網絡推理運算的加速系統，其特征在于，包括軟件端和硬件端；

所述軟件端包括由外部儲存保存的輸入值和LSTM的配置參數，LSTM的配置參數包括權重值和偏移值，所述輸入值包括激活值，以及在外部CPU上運行的程序，所述軟件端將LSTM的推理運算任務加載到硬件端運行，CPU通過控制總線控制硬件端，通過數據總線將LSTM的配置參數和輸入值加載到硬件端，以及通過數據總線將硬件端的輸出結果讀取到軟件端；

所述硬件端包括：

頂層控制模塊，用于控制LSTM的推理運算任務運行；以及輸出控制信號，控制配置寄存器模塊、存儲器調度模塊、乘向量處理單元和非線性變換單元；

所述配置寄存器模塊，用于獲取軟件端的LSTM的配置參數；

所述存儲器調度模塊，用于獲取軟件端的輸入參數，以及將硬件端的輸出結果輸出到軟件端；

權重值存儲器，用于存儲經過軟件端對數域量化的權重值；

激活值存儲器，用于存儲經過軟件端定點量化的激活值；

偏移值存儲器，用于存儲經過軟件端定點量化的偏移值；

乘向量處理單元，用于將定點量化后的激活值作為循環神經網絡第一層的輸入；用于對權重值的后半部分進行對數域量化，并將定點量化后的激活值與對數域量化后的權重值相乘，并輸出暫存值；以及將循環神經網絡上一層輸出的暫存值作為循環神經網絡下一層輸入，與權重值相乘，輸出循環神經網絡下一層的暫存值；還用于累加循環神經網絡同一層的暫存值，獲得累加值；暫存值存儲器，用于存儲乘向量處理單元運算過程中的暫存值和累加值；

非線性變換單元，用于將定點量化后的偏移值與累加值相加，并對相加后的結果進行非線性變換；

輸出值存儲器，用于存儲非線性變換單元的輸出結果，以及通過數據總線將輸出結果傳遞到軟件端。

2.根據權利要求1所述的基于結構化稀疏的循環神經網絡推理運算的加速系統，其特征在于，所述乘向量處理單元包括移位器，移位器用于根據權重值后半部分的數值，對激活值進行移位，以實現無乘法運算。

3.根據權利要求1所述的基于結構化稀疏的循環神經網絡推理運算的加速系統，其特征在于，所述乘向量處理單元具有多個處理通道，多個處理通道可同時運行，以滿足推理運算的行并行度；每個處理通道具有多個數據輸入端，以滿足推理運算的列并行度。

4.根據權利要求1所述的基于結構化稀疏的循環神經網絡推理運算的加速系統，其特征在于，非線性變換單元包括加法陣列和乘法陣列；

加法陣列，用于將偏移值和累加值相加；

乘法陣列，用于分段函數擬合Sigmoid 函數和tanh函數；

其中，

。

5.根據權利要求1所述的基于結構化稀疏的循環神經網絡推理運算的加速系統，其特征在于，還包括直接存儲器控制模塊和內存控制模塊；

直接存儲器訪問模塊，用于LSTM的配置參數的讀?。?/p>

內存控制模塊，用于控制輸入值的讀取和存儲，以及輸出結果的存儲和輸出。

6.一種基于結構化稀疏的循環神經網絡的加速方法，其特征在于，采用權利要求1-5任一項所述的基于結構化稀疏的循環神經網絡加速系統，包括生成具備結構化稀疏的LSTM模型步驟和LSTM模型推理運算的加速運算步驟；

所述加速運算步驟包括：

初始化LSTM模型，包括模型參數的分組，配置寄存器模塊將分組后的參數配置傳遞給頂層控制模塊和直接存儲器控制模塊，配置參數包括配置權重值；

頂層控制模塊控制乘向量處理單元將激活值作為循環神經網絡第一層的輸入，與權重值相乘，并輸出暫存值，以及控制乘向量處理單元將循環神經網絡上一層輸出的暫存值作為循環神經網絡下一層輸入，與權重值相乘，輸出循環神經網絡下一層的暫存值；

頂層控制模塊控制乘向量處理單元累積累加循環神經網絡同一層的暫存值，并將累加獲得的累加值輸出到暫存值存儲器中；

頂層控制模塊控制非線性變換單元將偏移值與累加值相加，并對相加后的結果進行非線性變換，以及將非線性變換單元的輸出結果輸出到輸出值存儲器；

頂層控制模塊控制輸出值存儲器將輸出結果通過數據總線將輸出結果傳遞到軟件端。