[發明專利]神經網絡處理器

在審

• 申請號: 201980092225.5
• 申請日: 2019-12-20
• 公開（公告）號: CN113424201A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: K.H.李;S.拉維庫馬爾;P.唐內利;D.羅森班德
• 申請（專利權）人: 偉摩有限責任公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

一種用于對包括多個神經網絡(NN)層的神經網絡執行計算的電路。電路包括提供用于執行計算的編程數據的處理設備和與處理設備進行數據通信以接收編程數據的核心。核心包括存儲用于層的輸入的激活存儲器和存儲用于第一NN層的參數的參數存儲器。核心還包括基于編程數據旋轉訪問來自激活存儲器的輸入的旋轉單元和接收用于第一NN層的相應輸入和參數并使用輸入和參數生成第一NN層的輸出的計算單元。核心還包括交叉開關單元，該交叉開關單元使輸出根據庫分配模式被存儲在激活存儲器中。

技術領域

本說明書涉及在硬件中計算神經網絡推斷。

背景技術

神經網絡是機器學習模型，其采用一層或多層節點為接收到的輸入生成輸出，例如分類。一些神經網絡除了輸出層之外還包括一個或多個隱藏層。每個隱藏層的輸出被用作網絡中一個或多個其他層(例如，網絡的其他隱藏層或輸出層)的輸入。網絡的一些層根據相應參數集的當前值從接收的輸入生成輸出。

一些神經網絡包括一個或多個卷積神經網絡層。每個卷積神經網絡層都有一組相關聯的內核(kernel)。內核可以表示為參數的張量，即多維數組。每個卷積層還可以處理激活輸入集。激活輸入集還可以表示為張量。

發明內容

本說明書描述了執行神經網絡計算的專用硬件電路。硬件電路包括核心(core)，該核心與電路的組件交互，以加速神經網絡工作負載的計算。核心包括可在硬件或軟件中實現的控制邏輯和多個組件?？刂七壿嬘糜谙蚝诵闹械亩鄠€組件中的每一個提供用于神經網絡計算的指令。核心包括存儲輸入、輸入激活或輸出、輸出激活的激活存儲器，以及存儲用于神經網絡(例如，卷積神經網絡(CNN))的一層的至少一部分的參數集的參數存儲器。核心還包括計算單元(computing unit)、旋轉單元(rotation unit)和交叉開關單元(crossbar unit)。

計算單元用于執行神經網絡計算，所述神經網絡計算用于處理通過神經網絡層的輸入。例如，計算單元處理來自激活存儲器的輸入激活和來自參數存儲器的參數，以生成層的一組輸出。旋轉單元從激活存儲器獲得輸入，并將輸入提供給計算單元的計算單元格(computing cell)。旋轉單元從激活存儲器獲得輸入，并以優化計算單元格的總體使用的方式將輸入路由到計算單元。交叉開關單元使用庫分配模式將層的輸出存儲在激活存儲器中。交叉開關單元存儲輸出，使得當存儲的輸出作為后續層的輸入被獲得時，激活存儲器不會經歷庫沖突(bank conflict)。

硬件電路還包括可以在核心處實現的內核位置存儲器。內核位置存儲器存儲參數索引和其他表示內核結構的數據。內核結構可以對應于神經網絡層的參數集。核心使用內核位置存儲器以更有效地處理具有不同稀疏屬性的內核結構，例如，內核結構中零值和非零值的布置。核心與內核位置存儲器交互以支持任意內核形狀，諸如在內核結構的不同空間維度上具有任意零值和非零值布置的內核。

硬件電路被配置為利用深度卷積中的并行性，與傳統電路相比效率更高。通過使用硬件電路的核心和其他組件，利用并行性的機會不僅可以加速執行深度卷積，還可以加速執行密集卷積。例如，在密集卷積中，硬件電路可以基于在計算單元處可用的計算單元格的數量，為激活集支持一定數量的輸入通道(zin)和輸出通道(zout)。

在深度卷積中，輸入通道可以用于生成多個輸出通道，例如，單個輸入通道可以用于生成1個輸出通道、2個輸出通道或4個輸出通道。硬件電路采用可配置邏輯，該可配置邏輯使用旋轉單元和交叉開關單元來執行電路的不同kx和ky并行性(例如，并行計算，其中在同一周期內計算使用x和y方向參數的多個乘積)特征。這些特性與從單個輸入通道生成的多個輸出通道有關?？膳渲眠壿嬍沟糜布娐纺軌蛲ㄟ^在深度卷積期間增加計算單元的總體使用來改進深度卷積的計算效率。