[發(fā)明專利]訓練裝置及方法

有效

• 申請?zhí)枺?/td>: 201811074120.0
• 申請日: 2018-09-14
• 公開（公告）號: CN110909870B
• 公開（公告）日: 2022-12-09
• 發(fā)明（設計）人: 不公告發(fā)明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種支持壓縮及解壓縮的神經網絡訓練裝置，所述裝置用于執(zhí)行神經網絡的訓練，其特征在于，所述裝置包括：

參數(shù)壓縮單元，用于根據(jù)接收到的神經網絡的模型數(shù)據(jù)，確定所述神經網絡的待壓縮參數(shù)，并利用編碼器對所述待壓縮參數(shù)進行壓縮處理，將其中的多維數(shù)據(jù)壓縮成為低維數(shù)據(jù)，獲得與所述神經網絡對應的語義向量；

參數(shù)存儲單元，連接到所述參數(shù)壓縮單元，用于存儲與所述神經網絡對應的語義向量，并在接收到數(shù)據(jù)讀取指令時，向所述參數(shù)解壓縮單元或運算單元發(fā)送所述語義向量；

參數(shù)解壓縮單元，連接到所述參數(shù)存儲單元，用于在接收到語義向量時，利用解碼器對所述語義向量進行解壓縮處理，獲得所述神經網絡的解壓縮參數(shù)，并向所述運算單元發(fā)送所述解壓縮參數(shù)；及

運算單元，分別連接到所述參數(shù)存儲單元和所述參數(shù)解壓縮單元，用于對接收到的所述語義向量或所述解壓縮參數(shù)對所述神經網絡進行訓練；

所述參數(shù)壓縮單元還用于判斷所述待壓縮參數(shù)是否稀疏，并在所述待壓縮參數(shù)稀疏時，向所述參數(shù)存儲單元發(fā)送與所述語義向量對應的稀疏化標記；

所述參數(shù)存儲單元，還用于存儲所述稀疏化標記，

其中，所述參數(shù)存儲單元在接收到所述數(shù)據(jù)讀取指令時，向所述參數(shù)解壓縮單元或運算單元發(fā)送所述語義向量，包括：

在接收到所述數(shù)據(jù)讀取指令，且所述參數(shù)存儲單元中存儲有與所述語義向量對應的稀疏化標記時，向所述運算單元發(fā)送所述語義向量。

2.根據(jù)權利要求1所述的裝置，其特征在于，所述參數(shù)存儲單元在接收到數(shù)據(jù)讀取指令時，向所述參數(shù)解壓縮單元或運算單元發(fā)送所述語義向量，還包括：

在接收到所述數(shù)據(jù)讀取指令，且所述參數(shù)存儲單元中未存儲與所述語義向量對應的稀疏化標記時，向所述參數(shù)解壓縮單元發(fā)送所述語義向量。

3.根據(jù)權利要求1所述的裝置，其特征在于，該神經網絡包含n層，n為大于或等于2的整數(shù)，所述訓練包括正向訓練和反向訓練，對接收到的所述語義向量或所述解壓縮參數(shù)對所述神經網絡進行正向訓練或者反向訓練，包括：

依據(jù)所述語義向量或解壓縮參數(shù)確定第一層輸入數(shù)據(jù)和第一層權值組數(shù)據(jù)，對第一層輸入數(shù)據(jù)和第一層權值組數(shù)據(jù)執(zhí)行神經網絡的n層正向運算得到正向運算的第n輸出結果；

依據(jù)所述第n輸出結果得到第n輸出結果梯度，依據(jù)所述語義向量或解壓縮參數(shù)獲取第n層反向運算的第n反向運算指令以及所述第n反向運算指令所需的第n層輸入數(shù)據(jù)以及第n層權值組數(shù)據(jù)；

依據(jù)所述第n反向運算指令將所述第n輸出結果梯度、第n層輸入數(shù)據(jù)以及第n層權值組數(shù)據(jù)劃分為豎向數(shù)據(jù)塊和橫向數(shù)據(jù)塊；

依據(jù)所述豎向數(shù)據(jù)塊和/或橫向數(shù)據(jù)塊以并行方式執(zhí)行神經網絡中的運算得到運算結果；

對該運算結果進行處理得到第n層權值組梯度和第n層輸入數(shù)據(jù)梯度，應用所述第n層權值組梯度對第n層權值組數(shù)據(jù)進行更新；

將第n層輸入數(shù)據(jù)梯度作為第n-1層的第n-1輸出結果梯度執(zhí)行n-1層反向運算得到n-1層權值組梯度，應用n-1層權值組梯度更新對應層的權值組數(shù)據(jù)，所述權值組數(shù)據(jù)包括至少二個權值。