[發明專利]用于人工神經網絡計算的處理器

在審

• 申請號: 202010213694.2
• 申請日: 2017-12-25
• 公開（公告）號: CN111291878A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種用于人工神經網絡計算的處理器，其特征在于，所述處理器包括映射單元和運算單元，所述處理器在對多層人工神經網絡進行訓練時，用于實現如下步驟：

正向運算：所述映射單元讀取存儲單元的輸入數據，并對所述輸入數據進行處理，以得到處理后的輸入數據；所述運算單元根據所述處理后的輸入數據，對人工神經網絡中的各層依次執行正向運算，得到人工神經網絡的輸出神經元；其中，所述輸入數據包括權值和輸入神經元；

反向運算：所述運算單元根據所述處理后的權值，按照與所述正向運算相反的順序，對所述人工神經網絡中的各層依次執行反向運算，得到各層的權值梯度和輸入神經元梯度；

權值更新：所述運算單元根據所述各層的權值梯度，對所述人工神經網絡中的各層進行權值更新，獲得更新的權值；

重復執行上述正向運算、反向運算和權值更新步驟，完成多層人工神經網絡的訓練。

2.根據權利要求1所述的處理器，其特征在于，所述處理器還包括第一輸入緩存和第二輸入緩存；所述映射單元連接所述第一輸入緩存和所述第二輸入緩存；所述第一輸入緩存和所述第二輸入緩存連接所述運算單元；所述處理器執行正向運算時，

所述映射單元讀取存儲單元中的輸入神經元、權值和連接關系數據，基于所述連接關系數據對所述輸入神經元和/或所述權值進行處理，得到處理后的輸入神經元和權值；并將處理后的輸入神經元存儲至第一輸入緩存，將處理后的權值存儲至所述第二輸入緩存；其中，所述輸入數據包括所述輸入神經元和所述權值；

所述運算單元從所述第一輸入緩存中讀取處理后的輸入神經元，從所述第二輸出緩存中讀取處理后的權值，對人工神經網絡中的各層依次執行正向運算，得到人工神經網絡的輸出神經元。

3.根據權利要求2所述的處理器，其特征在于，所述映射單元讀取存儲單元中的輸入神經元、權值和連接關系數據，基于所述連接關系數據對所述輸入神經元和權值進行處理，得到處理后的輸入神經元和權值，包括：

所述映射單元將數值或絕對值小于或等于第一閾值的權值刪除，和/或將數值或絕對值小于或等于第二閾值的輸入神經元刪除，得到處理后的輸入神經元和權值。

4.根據權利要求2所述的處理器，其特征在于，所述映射單元讀取存儲單元中的輸入神經元、權值和連接關系數據并進行處理，包括：

所述映射單元將數值或絕對值小于或等于第一閾值的權值刪除，得到處理后的權值，并根據權值的連接關系數據對輸入神經元進行處理，得到處理后的輸入神經元。

5.根據權利要求2所述的處理器，其特征在于，所述映射單元讀取存儲單元中的輸入神經元、權值和連接關系數據并進行處理，包括：

所述映射單元將數值或絕對值小于或等于第二閾值的輸入神經元刪除，得到處理后的輸入神經元，并根據輸入神經元的連接關系數據對權值進行處理，得到處理后的權值。

6.根據權利要求1-5任一項中所述的處理器，其特征在于，所述反向運算包括輸入神經元梯度計算步驟；所述處理器執行所述輸入神經元梯度計算步驟時，

所述映射單元將輸出神經元梯度和處理后的權值分別存儲至所述第一輸入緩存和所述第二輸入緩存；

所述運算單元讀取所述第一輸入緩存和所述第二輸入緩存中的輸出神經元梯度和處理后的權值，計算得到輸入神經元梯度；

其中，上一層人工神經網絡的輸入神經元梯度作為下一層人工神經網絡的輸出神經元梯度。

7.根據權利要求1-5任一項所述的處理器，其特征在于，所述反向運算包括權值梯度計算步驟；所述處理器執行所述權值梯度計算步驟時，

所述映射單元基于處理后的權值將其對應的有連接的輸出神經元梯度和輸入神經元分別存儲至第一輸入緩存和第二輸入緩存；

所述運算單元從所述第一輸入緩存中讀取處理后的權值，從所述第二輸入緩存中讀取輸入神經元，并根據所述處理后的權值和輸入神經元計算獲得權值梯度。