[發明專利]一種面向稀疏遞歸神經網絡的均衡運算加速方法與系統

有效

• 申請號: 202011137315.2
• 申請日: 2020-10-22
• 公開（公告）號: CN112214326B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 王鎮
• 申請（專利權）人: 南京博芯電子技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F17/16;G06N3/10
• 代理公司: 南京智造力知識產權代理有限公司 32382
• 代理人: 張明明

一種面向稀疏遞歸神經網絡的均衡運算加速方法與系統，根據權重矩陣的稀疏性的仲裁結果確定調度信息，選擇工作電壓和運行頻率與調度信息相匹配的運算子模塊或工作電壓和運行頻率經過調整后與調度信息相匹配的運算子模塊，采用選定的運算子模塊依次進行跳零運算和乘加運算，實現均衡運算加速。均衡運算加速系統包括數據傳輸模塊、內置多個相互獨立的運算子模塊的均衡運算調度模塊、電壓可調均衡運算模塊。配置錯誤監視器實現電壓動態調整；數據傳輸模塊快速交換讀/寫存儲器的配置，減少額外數據傳輸；在提升運算速度的情況下，通過均衡調度的方式來減少功耗，并減少計算時電壓的波動。

技術領域

本發明屬于稀疏遞歸神經網絡硬件加速器技術領域，更具體地，涉及一種面向稀疏遞歸神經網絡的均衡運算加速方法與系統。

背景技術

與前饋神經網絡的靜態網絡、信息單向傳遞、網絡輸出只依賴當前輸入等特點相比，稀疏遞歸神經網絡是一種特殊的神經網絡結構，這是因為其輸出序列不僅與當前的輸入有關還與前面的輸出有關，具體的表現為稀疏遞歸神經網絡會對前面的輸出信息進行記憶并將其用于當前輸出的計算中。因此，在稀疏遞歸神經網絡中，隱藏層之間的節點不再是無連接的而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。目前，稀疏遞歸神經網絡的應用主要聚焦于需要考慮時間先后順序的技術問題上，涉及自然語言處理、機器翻譯、語音識別、圖像描述生成等多個技術領域。

在稀疏遞歸神經網絡的運算過程中，主要計算操作是一系列的矩陣乘法，其中，又以向量和矩陣的乘法為核心計算操作。在面對大量的乘法操作時，稀疏遞歸神經網絡不僅需要設計一個很大數量級的運算陣列，而且還要對這個運算陣列進行頻繁的訪存操作。然而，稀疏遞歸神經網絡中神經元的權值有很大一部分為“0”，因此權重矩陣中會存在許多“0”元素權重，這使得不同的權重矩陣之間存在稀疏性差異。現有技術中，稀疏遞歸神經網絡的運算中，并沒有考慮權重矩陣的稀疏性，因此運算過程中的所有時刻向運算陣列供給相同的電壓和時鐘頻率，這必然造成運算陣列功耗上的浪費，從而給運算模塊帶來功耗高、性能波動不穩定等問題。

因此，在開展稀疏遞歸神經網絡運算時，對于權重矩陣的稀疏性做出判斷，從而動態的調整運算陣列的電壓和時鐘頻率，以實現降低功耗的效果，具有很高的實際應用價值。

發明內容

本發明的目的是為了克服現有技術所存在的不足而提出了一種面向稀疏遞歸神經網絡的均衡運算加速方法與系統，根據權重矩陣的稀疏性的仲裁結果確定調度信息，選擇工作電壓和運行頻率與調度信息相匹配的運算子模塊或工作電壓和運行頻率經過調整后與調度信息相匹配的運算子模塊，采用選定的運算子模塊依次進行跳零運算和乘加運算，實現均衡運算加速。在提升運算速度的情況下，通過均衡調度的方式來減少功耗，并減少計算時電壓的波動。

本發明提出如下技術方案。

面向稀疏遞歸神經網絡的均衡運算加速方法具體步驟如下：

步驟1，輸入計算矩陣和權重矩陣；

步驟2，對權重矩陣的稀疏性進行仲裁，根據仲裁結果確定調度信息；

調度信息包括實際工作電壓和實際運行頻率；

實際工作電壓滿足如下關系式：

U_real＝U₀-Δ·U_Δ

式中，

U_real為實際工作電壓，

U₀為基準工作電壓，

U_Δ為與權重矩陣的稀疏性相關的調整電壓，且滿足U_Δα· U₀，其中α是根據計算場景和硬件配置情況設定的經驗值，一般0.1α0.5，

Δ為權重矩陣的稀疏性仲裁結果；