[發(fā)明專利]一種基于存內計算的卷積加速計算系統及方法

有效

• 申請?zhí)枺?/td>: 202011380470.7
• 申請日: 2020-11-30
• 公開（公告）號: CN112487750B
• 公開（公告）日: 2023-06-16
• 發(fā)明（設計）人: 婁冕;謝成民;楊靚;李立;金玉琳;朱吉喆
• 申請（專利權）人: 西安微電子技術研究所
• 主分類號: G06F30/39
• 分類號: G06F30/39;G06F17/15
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 張海平

本發(fā)明公開了一種基于存內計算的卷積加速計算系統及方法，在存儲模式下，將卷積核和輸入特征圖數據按行串行加載進存內計算IP中，在存儲模式下將卷積運算中的恒定參數卷積核與待處理的輸入特征圖加載到存儲器中，然后切換至運算模式，通過有序控制存內計算IP串行完成操作數的乘法、部分和累加以及操作數的切換步驟，利用卷積加速控制結構將卷積運算的所有步驟按周期進行無縫銜接，采用硬件替代軟件進行時序調度，避免復雜的軟件指令引入的效率損失，從而有效發(fā)揮存內計算IP在實際大規(guī)模數據并行處理中的效能優(yōu)勢。本發(fā)明將卷積運算進行算力加速，以降低卷積運算的時間開銷，為人工智能的實時性提供技術支撐。

技術領域

本發(fā)明屬于集成電路設計領域，涉及一種基于存內計算的卷積加速計算系統及方法。

背景技術

當前，提高AI芯片性能和效能的關鍵之一在于卷積運算的高效執(zhí)行。在傳統馮·諾伊曼體系結構中，計算與存儲分離的體系造成內存的存取速度嚴重滯后于處理器的計算速度，遭遇到了所謂的存儲墻(Memory?Wall)問題。從目前學術界研宄情況來看，計算與存儲融合一體的結構是一個較好的解決方案，由于運算和存儲一體化不需要數據總線來搬運數據，不僅能解決數據總線寄生電壓和寄生電阻帶來傳遞延時和多余功耗問題，而且還能解決處理器運算速度和存儲器存儲速度不匹配問題，這種方法被稱為存內計算(Process-in-Memory，PIM)。然而，目前新型存儲器在工藝的成熟性和穩(wěn)定性方面還有所欠缺，僅限于理論和實驗研究階段，工業(yè)應用前景尚不明朗。因此，通過在既有成熟的CMOS工藝基礎上進行存內計算IP開發(fā)，并進一步實現基于存內計算的卷積加速控制結構成為研究熱點。

當前，存內計算的研究方向主要分為兩類：一類是基于新材料、新器件進行算力挖掘，如中國專利“非易失性存內計算芯片及其運算控制方法”，申請?zhí)?01910713399.0，它基于非易失性存儲器進行結構修改，其優(yōu)勢在于存儲的數據掉電不丟失，但缺點是工藝成熟度不高，結構復雜；另一類則是通過對成熟的SRAM結構進行定制化修改，如中國專利“一種適用于全連接二值化神經網絡的存內計算電路”，申請?zhí)?01910623458.5，它則是利用成熟的SRAM結構進行存儲單元結構擴展，使其在位線上具備模擬運算的能力。這種基于SRAM結構的存內計算以其工藝成熟，結構簡單，成為工程化應用潛力巨大的研究熱點，如密歇根大學發(fā)表的“Neural?Cache:Bit-Serial?In-Cache?Acceleration?of?Deep?NeuralNetworks”，它完全復用SRAM的6T存儲單元，僅在外圍電路增加較少的數字邏輯實現邏輯運算，通過SRAM龐大的位線資源實現大規(guī)模并行計算能力。而目前SRAM結構在存內IP計算中，需要采用軟件指令引入導致效率低下，無法實現大規(guī)模數據并行，導致無法在人工智能中有效進行應用。

發(fā)明內容

本發(fā)明的目的在于提供一種基于存內計算的卷積加速計算系統及方法，以克服現有技術的不足。

為達到上述目的，本發(fā)明采用如下技術方案：

一種基于存內計算的卷積加速計算方法，包括以下步驟：

S1，在存儲模式下，將卷積核和輸入特征圖數據按行串行加載進存內計算IP中；

S2，當數據加載完畢后，在存內計算IP內首先以元素為單位逐位進行乘法運算，當一個元素乘法完成后再逐位進行加法運算獲得部分和累加結果；

S3，當一個元素的乘加運算結束后，如果一次卷積沒有結束，則保持卷積核不變，將輸入特征圖元素地址移動至下一個元素起始地址，重復進行乘法和加法運算，直至整個卷積核元素均執(zhí)行完畢得到計算結果，將計算結果在存儲模式下進行讀取，即可完成存內計算的卷積加速計算。

進一步的，將卷積核與輸入特征圖的對應區(qū)域進行乘累加得到一個位置輸出結果，然后按步長在輸入特征圖上移動并進行相同操作。

進一步的，具體的，將卷積核的元素寫入SRAM每行固定位置，同時將輸入特征圖不同的數據加載到SRAM各行中，最終在列方向將形成初始化結果。