[發(fā)明專利]一種訓練裝置

有效

• 申請?zhí)枺?/td>: 201710474297.9
• 申請日: 2017-06-21
• 公開（公告）號: CN109102074B
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計）人: 不公告發(fā)明人
• 申請（專利權(quán)）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

1.一種訓練裝置，包括：

數(shù)據(jù)處理模塊，用于對輸入數(shù)據(jù)進行壓縮或擴展；以及，

運算模塊，與所述數(shù)據(jù)處理模塊連接，用于接收所述數(shù)據(jù)處理模塊處理后的數(shù)據(jù)進行運算；

若所述輸入數(shù)據(jù)無需壓縮或者擴展，則跳過所述數(shù)據(jù)處理模塊，直接由存儲模塊將所述輸入數(shù)據(jù)傳遞給所述運算模塊進行運算；

所述數(shù)據(jù)處理模塊還用于根據(jù)一梯度值判斷條件確定是否將梯度值及待運算的數(shù)據(jù)發(fā)送至運算模塊；

其中，若經(jīng)數(shù)據(jù)處理模塊判斷確定神經(jīng)元梯度值的絕對值小于給定閾值，則將梯度值和對應的待運算的突出壓縮，即不發(fā)送運算模塊進行運算；否則，若梯度值的絕對值不小于給定閾值，則將梯度值和對應的待運算的突觸發(fā)送至運算模塊中進行運算。

2.根據(jù)權(quán)利要求1所述的訓練裝置，其中，所述數(shù)據(jù)處理模塊包括：

數(shù)據(jù)壓縮單元，用于根據(jù)一壓縮判斷條件對輸入數(shù)據(jù)進行壓縮；

以及數(shù)據(jù)擴展單元，用于根據(jù)一擴展判斷條件對輸入數(shù)據(jù)進行擴展。

3.根據(jù)權(quán)利要求2所述的訓練裝置，其中，所述數(shù)據(jù)擴展單元，用于對輸入數(shù)據(jù)進行擴展，其將壓縮的稀疏的數(shù)據(jù)擴展為非壓縮格式。

4.根據(jù)權(quán)利要求2所述的訓練裝置，其中，所述壓縮判斷條件及擴展判斷條件包括閾值判斷條件或函數(shù)映射判斷條件。

5.根據(jù)權(quán)利要求4所述的訓練裝置，其中，所述閾值判斷條件，包括：小于一給定閾值，大于一給定閾值，在一給定取值范圍內(nèi)或在一給定取值范圍外。

6.根據(jù)權(quán)利要求2所述的訓練裝置，其中，所述數(shù)據(jù)壓縮單元根據(jù)數(shù)據(jù)的稀疏索引值對輸入數(shù)據(jù)進行篩選和壓縮，得到待運算的數(shù)據(jù)；或根據(jù)數(shù)據(jù)本身的值進行判斷，從而篩選并壓縮得到符合所述壓縮判斷條件的數(shù)值。

7.根據(jù)權(quán)利要求6所述的訓練裝置，其中，所述數(shù)據(jù)壓縮單元根據(jù)突觸數(shù)據(jù)的稀疏索引值對輸入的神經(jīng)元數(shù)據(jù)進行篩選和壓縮，得到待運算的神經(jīng)元數(shù)據(jù)，或根據(jù)神經(jīng)元數(shù)據(jù)的稀疏索引值對輸入的突觸數(shù)據(jù)進行篩選和壓縮，得到待運算的突觸數(shù)據(jù)。

8.根據(jù)權(quán)利要求6所述的訓練裝置，其中，所述數(shù)據(jù)壓縮單元根據(jù)突觸本身的值與一給定閾值相比較，篩選并壓縮得到絕對值不小于給定閾值的突觸數(shù)據(jù)，或根據(jù)神經(jīng)元本身的值與一給定閾值相比較，篩選并壓縮得到絕對值不小于給定閾值的神經(jīng)元數(shù)據(jù)。

9.根據(jù)權(quán)利要求1所述的訓練裝置，其中，所述梯度值判斷條件包括閾值判斷條件或函數(shù)映射判斷條件。

10.根據(jù)權(quán)利要求9所述的訓練裝置，其中，所述閾值判斷條件，包括：小于一給定閾值，大于一給定閾值，在一給定取值范圍內(nèi)或在一給定取值范圍外。

11.根據(jù)權(quán)利要求1所述的訓練裝置，其中，若突觸以稀疏形式存儲，則在輸入運算模塊運算之前，由所述數(shù)據(jù)處理模塊對突觸和突觸索引值進行擴展，轉(zhuǎn)換成非稀疏模式。

12.根據(jù)權(quán)利要求1所述的訓練裝置，其中，所述運算模塊包括：

第一運算單元，其包括多個PE，每個PE包括乘法器和/或加法器，用于完成乘法、加法或乘加運算；

第二運算單元，其包括兩組加法樹，每組加法樹包括多個加法樹，用于完成累加運算，以及

第三運算單元，其包括ALU。

13.根據(jù)權(quán)利要求12所述的訓練裝置，其中，所述第一運算單元包括M*N個PE，每個PE包括一乘法器和一加法器；所述第二運算單元包括兩組加法樹，一組包括M個N輸入的加法樹，另一組包括N個M輸入的加法樹；所述第三運算單元包括max(M，N)個ALU；其中，M和N均為正整數(shù)。