[發明專利]一種基于深度學習加速器實現單廣播多運算的方法

有效

• 申請號: 201810804165.2
• 申請日: 2018-07-20
• 公開（公告）號: CN108960414B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 陳書明;楊超;李斌;陳海燕;扈嘯;張軍陽;陳偉文
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F7/523;G06F7/50
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 周長清;胡君

本發明公開一種基于深度學習加速器實現單廣播多運算的方法，該方法包括：在加速器的乘法器陣列中為指定乘法體配置多個用于存儲中間結果的中間值寄存器；執行深度學習的計算過程中，當需要將輸入特征值與對應權重值進行乘法運算時，將輸入特征值與對應權重值的運算結果存儲至對應的中間值寄存器中以用于下次計算時使用，直至完成輸出特征值的計算。本發明具有實現方法簡單、能夠實現深度學習加速器的單廣播多運算，且成本低、數據利用率高、能耗低等優點。

技術領域

本發明涉及深度學習加速器技術領域，尤其涉及一種基于深度學習加速器實現單廣播多運算的方法。

背景技術

深度神經網絡(DNN)是人工智能應用的基礎，包括自動駕駛汽車、癌癥檢測、計算機視覺、語音識別和機器人、復雜游戲等各種應用。DNN在人工智能任務之中的精度非常高，甚至能夠超越人類的準確率，DNN的出眾表現源于它能使用統計學習方法從原始感官數據中提取高層特征，在大量的數據中獲得輸入空間的有效表征，但是深度學習的復雜度較高。在深度學習中，神經網絡的層級數量十分巨大，當前神經網絡通常可以達到5到1000多層，眾多的層級會大大提高所需的能耗、存儲空間以及計算復雜度，而如執行DNN推斷處理的嵌入平臺有著嚴格的能耗、計算和存儲成本限制。當DNN推斷在云中執行時，如語音識別等應用經常有強烈的延遲需求。因此如何能使得DNN高效處理并提升效率和吞吐量，同時又無損于表現準確度或不會增加硬件成本，成為人工智能系統之中能夠廣泛部署DNN的關鍵。

DNN能獲得出眾準確率的代價是高計算復雜性成本，為提高計算效率，目前通常是采用如GPU的計算引擎進行計算，通過實現數據間的并行性來提高計算效率。但是目前深度學習加速器在計算時候，通常都是取一次需要的輸入特征值，完成計算后就將該數據丟棄，下次需要使用該數據時再次取出該值，而是在深度學習算法中，卷積運算輸入特征值的重復利用率非常高，在加速器硬件中一次取數的成本是昂貴的，采用上述每次取數完成計算后就丟棄數據，在下次需要使用該數據時再取值的方式會造成大量的能耗浪費，無法充分利用計算過程中的數據，使得深度學習計算的能耗、成本仍然較高。

發明內容

本發明要解決的技術問題就在于：針對現有技術存在的技術問題，本發明提供一種實現方法簡單、能夠實現深度學習加速器的單廣播多運算，且成本低、數據利用率高、能耗低的基于深度學習加速器實現單廣播多運算的方法。

為解決上述技術問題，本發明提出的技術方案為：

一種基于深度學習加速器實現單廣播多運算的方法，該方法包括：在加速器的乘法器陣列中為指定乘法體配置多個用于存儲中間結果的中間值寄存器；執行深度學習的計算過程中，當需要將輸入特征值與對應權重值進行乘法運算時，將輸入特征值與對應權重值的運算結果存儲至對應的所述中間值寄存器中以用于下次計算時使用，直至完成當前輸出特征值的計算。

作為本發明的進一步改進：當執行卷積計算時，每次將輸入特征值與對應權重值進行乘法運算后，將運算結果存儲在各所述中間值寄存器中，并將乘法運算結果與對應的所述中間值寄存器中存儲的上一次計算結果進行加法運算，以完成一次乘加運算，將加法運算結果存儲回對應的所述中間值寄存器中以用于下一次的加法運算，直至完成輸出特征值的計算。

作為本發明的進一步改進：還包括預先將各所述中間結果寄存器初始化為0，在完成一個完整的輸出特征之計算并輸出后，將對應的所述中間結果寄存器重新恢復為0。

作為本發明的進一步改進：具體為每個需參與計算的乘法體配置一組中間值寄存器。

作為本發明的進一步改進：對應計算各輸入特征值的乘法體共用一組中間值寄存器。

作為本發明的進一步改進，執行卷積計算時的具體步驟為：

S1.為乘法體陣列中每個乘法體配置中間值寄存器R0～Rn，并將各所述中間值寄存器的值初始化為0；