[發(fā)明專利]一種張量數(shù)據(jù)的數(shù)據(jù)載入裝置及方法

在審

• 申請?zhí)枺?/td>: 202110272918.1
• 申請日: 2021-03-12
• 公開（公告）號: CN112988621A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計）人: 楊旭光
• 申請（專利權(quán)）人: 蘇州芯啟微電子科技有限公司
• 主分類號: G06F12/0882
• 分類號: G06F12/0882;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提出一種張量數(shù)據(jù)的數(shù)據(jù)載入裝置及方法，用于卷積神經(jīng)網(wǎng)絡(luò)計算加速。本發(fā)明包括：輸入緩存及控制，針對主存儲器或/和其他存儲器的輸入進行分割、實現(xiàn)區(qū)域數(shù)據(jù)共享以及張量數(shù)據(jù)融合、分發(fā)；并行輸入寄存陣列，將輸入緩存中的數(shù)據(jù)分割片進行變換；張量型數(shù)據(jù)載入單元，連接輸入緩存的輸出以及并行輸入寄存陣列的輸入。設(shè)計簡化了地址譯碼電路，節(jié)省面積和功耗。本發(fā)明提供的硬件裝置及數(shù)據(jù)處理方法包括對輸入數(shù)據(jù)的變換法、分割法和編址法，滿足以有限的硬件資源進行算法加速的需求，降低了地址管理復(fù)雜度。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機硬件、人工神經(jīng)網(wǎng)絡(luò)算法部署硬件加速的領(lǐng)域，數(shù)字集成電路設(shè)計領(lǐng)域，具體涉及一種深度卷積神經(jīng)網(wǎng)絡(luò)硬件加速芯片的輸入系統(tǒng)的架構(gòu)設(shè)計方法、及其裝置。

背景技術(shù)

深度卷積神經(jīng)網(wǎng)絡(luò)算法由多層具體的神經(jīng)元算法層、隱藏層組成，主要包含有卷積層，主要算子為矩陣或向量的卷積計算。該計算任務(wù)的主要特點為輸入的數(shù)據(jù)量大、輸入數(shù)據(jù)具有空間特征信息的耦合，且每次卷積計算的數(shù)據(jù)往往與已經(jīng)計算過的數(shù)據(jù)發(fā)生重疊，輸入數(shù)據(jù)往往為從張量格式的數(shù)據(jù)中以一定空間規(guī)律抽取所需要的計算數(shù)據(jù)。

近年來在終端部署人工神經(jīng)算法已經(jīng)成為廣泛需求，但在相關(guān)場景下，加速芯片的性能、成本因素成為制約需求的主要因素。專利文件1（公開號CN105488565A）公開了一種加速深度神經(jīng)網(wǎng)絡(luò)算法的加速芯片的運算裝置及方法，為克服大量的中間值被生成并需要存儲，從而所需主存空間增加的問題，其運算裝置中均設(shè)置有中間值存儲區(qū)域，這些區(qū)域被配置為隨機存儲器，以減少對主存儲器的中間值讀取和寫入次數(shù)，降低加速器芯片的能量消耗，避免數(shù)據(jù)處理過程中的數(shù)據(jù)缺失和替換問題。專利文件2（申請公布號CN107341544A）公開了一種基于可分割陣列的可重構(gòu)加速器及其實現(xiàn)方法，設(shè)計了便箋式存儲器緩存區(qū)，用于實現(xiàn)數(shù)據(jù)重用。專利文件3（公開號USB0170103316A1）公開了一種卷積神經(jīng)網(wǎng)絡(luò)加速器的方法、系統(tǒng)及裝置，在其中設(shè)計了Unified Buffer。專利文件4（公開號US20180341495A1）公開了一種卷積神經(jīng)網(wǎng)絡(luò)加速器及方法，其中采用cache裝置來提供并行加速所需數(shù)據(jù)。這些發(fā)明都非常優(yōu)秀，已開展在服務(wù)器、數(shù)據(jù)中心以及高端智能手機上的應(yīng)用，但在終端的應(yīng)用還有問題。

在終端部署人工神經(jīng)算法，其需求特征為，由于加速芯片的硬件資源有限，必需要將數(shù)據(jù)進行分割處理，并盡量減少數(shù)據(jù)的膨脹；而對于不同領(lǐng)域和產(chǎn)業(yè)場景所常用的人工神經(jīng)網(wǎng)絡(luò)算法不同，這種處理應(yīng)為一套簡單、便于實現(xiàn)的方法，否則仍難以“落地”。在專利文件1和3所述發(fā)明中，由于不同神經(jīng)網(wǎng)絡(luò)算法層尺寸不一、數(shù)據(jù)重用度不同而導(dǎo)致加速器資源的浪費，以至于需要配合其他異構(gòu)處理器來幫助解決數(shù)據(jù)相關(guān)的問題，要么就是依靠更深亞微米高成本先進工藝來提升性能；專利3所述的存儲方式需要備份更多數(shù)據(jù)，導(dǎo)致Buffer尺寸太大；專利2的方法采用可重構(gòu)計算思想，雖然極為注重節(jié)省資源浪費，但其數(shù)據(jù)分割和排布方法很復(fù)雜，需配合先進的計算任務(wù)部署編譯器來輔助應(yīng)用；專利4的發(fā)明與中央處理器的設(shè)計過于耦合，同時設(shè)計實現(xiàn)復(fù)雜度過高。

發(fā)明內(nèi)容

本發(fā)明提供一種對深度卷積神經(jīng)網(wǎng)絡(luò)計算加速的、結(jié)合主存儲器的數(shù)據(jù)載入裝置的硬件電路設(shè)計及方法，

以降低硬件電路設(shè)計的復(fù)雜度、降低芯片的面積和功耗，同時還能提供高吞吐率、高性能的并行數(shù)據(jù)帶寬，提高芯片的計算資源與內(nèi)存帶寬利用率，降低應(yīng)用的復(fù)雜度與成本。

為實現(xiàn)上述目的，本發(fā)明結(jié)合可伸縮的并行數(shù)據(jù)載入裝置，提供了一種再結(jié)合主存儲器的數(shù)據(jù)載入裝置，該數(shù)據(jù)載入裝置包括：

張量型隨機訪問控制器，對來自主存儲器或/和其他存儲器的輸入數(shù)據(jù)進行融合、排布以及數(shù)據(jù)格式轉(zhuǎn)化，再分發(fā)到輸入緩存單元的分割區(qū)域中，所述工作模式可通過軟件重配置；

可分割輸入緩存單元，是本發(fā)明所述的數(shù)據(jù)載入裝置的本地緩存，由多個存儲頁組成，設(shè)計及存儲方法與輸入數(shù)據(jù)的維度以及并行輸入寄存陣列相對應(yīng)，支持所述軟件重配置帶來的數(shù)據(jù)格式的改變；