[發明專利]應用于神經網絡硬件加速系統的高效數據訪存管理裝置

有效

• 申請號: 201611105491.1
• 申請日: 2016-12-05
• 公開（公告）號: CN107689948B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 李於彬;單羿
• 申請（專利權）人: 賽靈思公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京卓孚律師事務所 11821
• 代理人: 任宇

一種應用于神經網絡硬件加速系統的數據訪存管理裝置，部署在存儲器和計算單元之間傳輸數據，該裝置包括：參數訪存控制電路，從存儲器中讀取計算單元請求的參數，經過轉換位寬后，輸出至計算單元；向量訪存控制電路，從存儲器讀取計算單元請求的向量，經過位寬轉換后，輸出至計算單元；計算結果數據控制電路，從計算單元讀取計算結果，經過位寬轉換后，輸出至存儲器；控制電路，控制所述參數訪存控制電路、向量訪存控制電路、計算結果數據控制電路與所述存儲器、所述計算單元之間的交互。該裝置可以高效地實現神經網絡硬件加速系統的數據訪存管理。

本申請要求于2016年8月22日提交的美國專利申請No.15/242,622、于2016年8月22日提交的美國專利申請No.15/242,624的優先權。其全部內容在此參考并入。

發明領域

本發明裝置涉及神經網絡硬件加速系統，特別地，該裝置應用于神經網絡硬件加速系統中可實現高效的訪存管理。

背景技術

人工神經網絡

人工神經網絡(Artificial Neural Networks,ANN)也簡稱為神經網絡(NNs)，它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。近年來神經網絡發展很快，被廣泛應用于很多領域，包括圖像識別、語音識別，自然語言處理，天氣預報，基因表達，內容推送等等。

在近幾年里，神經網絡的規模不斷增長，公開的比較先進的神經網絡都有數億個鏈接，屬于計算和訪存密集型應用。現有技術方案中通常是采用通用處理器(CPU)或者圖形處理器(GPU)來實現。由于軟件指令的順序執行特性，上述實現方案不能更充分的挖掘網絡中的并行潛力，計算速度受到限制；而且CPU和GPU的功耗也很大。

為了緩解(克服)上述困難，基于FPGA或ASIC的神經網絡硬件加速系統最近也被提出。隨著計算并行度的提升，數據訪存的帶寬需求越來越大。

圖1示出了神經網絡硬件加速系統的系統結構。如圖1所示，包括：多個硬件計算核、一個數據訪存控制裝置、一個存儲器、一個神經網絡控制器。

稀疏神經網絡的壓縮編碼

如前所述，對于稀疏矩陣的處理，為了減少內存，往往需要對矩陣進行壓縮存儲，比較經典的存儲方法包括：行壓縮(Compressed Row Storage CRS)和列壓縮存儲(Compressed Column Storage CCS)。

為了利用激勵函數的稀疏性，可以將編碼稀疏權重矩陣W存入壓縮列存儲(CCS)格式的變量中。

對于W矩陣每列W_j，我們存儲一個包含非零權重的向量v，以及等長向量z，向量z用于編碼v的相應條目之前零的個數，v和z各自由一個四位數值表示。如果超過15個零出現在一個非零的條目，在向量v中添加一個零。例如，以下列被編碼為：

[0,0,1,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3]

v＝[1,2,0,3],z＝[2,0,15,2]。

所有列的v和z的都存儲在一對大陣列中，其中指針向量p指向每個列的向量的開始。p指針向量中的最后一項指向超過最后一個向量元素,這樣p_j+1-p_j給出了第j列中的非零數(包括填補的零)。

通過壓縮列存儲格式(CCS format)中列存儲稀疏矩陣，使得利用激勵函數的稀疏性變得容易。只需要用每個非零激勵與其相應列中的所有非零元素相乘。