[發明專利]一種面向稀疏遞歸神經網絡的均衡運算加速方法與系統

有效

• 申請號: 202011137315.2
• 申請日: 2020-10-22
• 公開（公告）號: CN112214326B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 王鎮
• 申請（專利權）人: 南京博芯電子技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F17/16;G06N3/10
• 代理公司: 南京智造力知識產權代理有限公司 32382
• 代理人: 張明明

1.一種面向稀疏遞歸神經網絡的均衡運算加速方法，其特征在于：

所述方法如下：

步驟1，輸入計算矩陣和權重矩陣；

步驟2，對權重矩陣的稀疏性進行仲裁，根據仲裁結果確定調度信息；

所述調度信息包括實際工作電壓和實際運行頻率；

實際工作電壓滿足如下關系式：

U_reai＝U₀-Δ·U_Δ

式中，

U_reai為實際工作電壓，

U₀為基準工作電壓，

U_Δ為與權重矩陣的稀疏性相關的調整電壓，且滿足U_Δ＜α·U₀，其中α是根據計算場景和硬件配置情況設定的經驗值，0.1＜α＜0.5，

Δ為權重矩陣的稀疏性仲裁結果；

步驟3，判斷運算子模塊的工作狀態；

所述運算子模塊的工作狀態包括空閑狀態和非空閑狀態；

步驟4，結合步驟3的判斷結果，對處于空閑狀態的運算子模塊，選擇工作電壓和運行頻率與調度信息相匹配的運算子模塊或工作電壓和運行頻率經過調整后與調度信息相匹配的運算子模塊；

對處于非空閑狀態的運算子模塊，先判斷處于非空閑狀態的運算子模塊的輸入隊列狀態，然后選擇工作電壓和運行頻率與調度信息相匹配的運算子模塊或工作電壓和運行頻率經過調整后與調度信息相匹配的運算子模塊；處于非空閑狀態的運算模塊的輸入隊列狀態包括空間足夠和空間不足；

其中，所述運算子模塊的工作電壓和運行頻率的調整過程包括：將工作電壓和運行頻率上升到最大值，由分頻器產生新的時鐘頻率；判斷當前時鐘頻率下是否存在總預誤差，若存在總預誤差則升高工作電壓，若不存在總預誤差則降低工作電壓；經過多次調整后，在當前時鐘頻率下，若連續兩次或兩次以上判斷為不存在總預誤差，則保持當前工作電壓，結束調整；

步驟5，采用步驟4中選定的運算子模塊依次進行跳零運算和乘加運算，實現均衡運算加速。

2.根據權利要求1所述的面向稀疏遞歸神經網絡的均衡運算加速方法，其特征在于：

在步驟2中，

權重矩陣的稀疏性仲裁結果，就是權重矩陣內數值為“0”的元素的占比，滿足如下關系式：

式中，

Δ為權重矩陣中“0”元素的占比，

N₀為權重矩陣中“0”元素的數量，

為權重矩陣中非“0”元素的數量。

3.根據權利要求1所述的面向稀疏遞歸神經網絡的均衡運算加速方法，其特征在于：

對于工作電壓和運行頻率與調度信息相匹配的空閑狀態的運算子模塊，將計算矩陣和權重矩陣直接輸入到該運算子模中；

對于工作電壓或運行頻率與調度信息不匹配的空閑狀態的運算子模塊，將計算矩陣和權重矩陣輸入到該運算子模塊中，并對該運算子模塊的工作電壓或運行頻率進行調整。

4.根據權利要求1所述的面向稀疏遞歸神經網絡的均衡運算加速方法，其特征在于：

對于工作電壓和運行頻率與調度信息相匹配的非空閑狀態的運算子模塊，其輸入隊列狀態為空間足夠，則將計算矩陣和權重矩陣直接輸入到該運算子模中；

對于工作電壓或運行頻率與調度信息不匹配的非空閑運算子模塊，其輸入隊列狀態為空間足夠，則將計算矩陣和權重矩陣直接輸入到該運算子模中，并對該運算子模塊的工作電壓或運行頻率進行調整；

對于任意非空閑狀態的運算子模塊，其輸入隊列狀態均為空間不足，則運算暫停。

5.根據權利要求1所述的面向稀疏遞歸神經網絡的均衡運算加速方法，其特征在于：

步驟5具體包括：

步驟5.1，進行跳零運算，即查找并存儲權重矩陣中非零元素的數值和相對位置；

步驟5.2，進行乘加運算，即乘法運算和累加運算。

6.根據權利要求1所述的面向稀疏遞歸神經網絡的均衡運算加速方法，其特征在于：所述運算子模塊的工作電壓和運行頻率的調整，先選擇工作電壓或運行頻率接近的運算子模塊，然后對其工作電壓進行升高或降低的調整，對其運行頻率進行重新分頻。