[發明專利]一種基于通道共享的深度神經網絡加速器

有效

• 申請號: 202010470820.2
• 申請日: 2020-05-28
• 公開（公告）號: CN111723924B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 劉龍軍;楊少飛;李英翔;李欣欣;孫宏濱;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 閔岳峰

本發明公開了一種基于通道共享的深度神經網絡加速器，包括激活值輸入緩存，權重緩存，激活值輸出緩存，排序模塊，通道共享編碼模塊，激活函數和通道共享實用內積單元陣列。激活值輸入緩存用于存儲激活值非0位偏移量，排序索引和共享切換信號。激活值輸出緩存用于存儲中間結果和激活值輸出。排序模塊根據激活值非0位數量對激活值排序，排序結果將在通道共享編碼模塊中進行共享檢測編碼。激活值非0位偏移量，排序索引，切換信號及權重作為輸入在通道共享實用內積單元中進行移位及求和計算。和現有技術相比，本發明有效解決了激活值位串行計算結構的深度神經網絡處理器存在的同步問題，具有資源利用率高，性能高，能耗少和面積效率高的優點。

技術領域

本發明屬于人工智能技術領域，具體涉及一種基于通道共享的深度神經網絡加速器。

背景技術

Hinton等人于2006年提出深度學習的概念，深度學習概念的提出引發了新一輪的人工智能研究熱潮。近年來，不少公司諸如谷歌，微軟，臉書，百度等已將深度學習技術應用于圖像識別，語音識別等場景中。深度學習的本質就是通過大量數據訓練人工神經網絡從而來提取輸入數據特征。

新的輸入數據利用訓練好的人工神經網絡進行推理以對輸入數據進行預測，預測的準確度決定了深度學習的效果。為了保證深度學習獲得更好的效果，人工神經網絡的層數越來越多，就成為了深度神經網絡。隨著深度神經網絡層數越來越深，深度神經網絡的規模也越來越大，這給用于深度神經網絡計算的硬件計算結構和優化算法提出了前所未有的挑戰。

深度神經網絡模型基利用圖形處理器(Graphic Processing Unit，簡稱GPU)進行訓練和推理花費時間長，同時耗電量大。因此，國內外一些研究機構和企業開始關注高性能和高能效的深度神經網絡加速器的芯片設計，例如，麻省理工學院(MIT)，多倫多大學，谷歌(Google)，高通(Qualcomm)，英特爾(Intel)，華為，英偉達(Nvidia)等。當前，大部分深度神經網絡加速器芯片圍繞深度神經網絡的推理過程來進行設計。

目前，絕大部分深度神經網絡加速器按照激活值的計算結構劃分，可以分為兩種：一種是激活值位串行結構，另一種是激活值位并行計算結構。和激活值位并行計算結構相比，激活值位串行計算結構可以充分利用深度神經網絡中激活值的所有有效位/非0位進行計算。然而，由于在每一次計算中不同的激活值非0位的數量存在差異，因此需要同步來保證計算的正確。同步問題導致了性能受限和資源浪費的問題。

發明內容

針對現有激活值位串行結構的深度神經網絡加速器存在的性能受限和資源浪費的情況的問題，本發明提出了一種基于通道共享的深度神經網絡加速器。

本發明采用如下技術方案來實現的：

一種基于通道共享的深度神經網絡加速器，包括激活值輸入緩存，權重緩存，激活值輸出緩存，排序模塊，通道共享編碼模塊和通道共享實用內積單元陣列；其中，

激活值輸入緩存用于臨時存儲激活值非0位偏移量，排序索引和共享切換信號；

激活值輸出緩存用于臨時存儲中間結果和激活值輸出；

排序模塊按照激活值非0位的數量在激活值通道分組中對激活值進行排序，來自排序的排序索引被送入通道共享編碼模塊對激活值進行共享檢測編碼；

來自激活值輸入緩存的激活值非0位偏移量，排序索引和共享切換信號及來自權重緩存的權重作為輸入在通道共享實用內積單元陣列中通過移位加及累加計算得到輸出部分和，輸出部分和被存儲在激活值輸出緩存中，激活值輸出緩存中的輸出部分和最終通過激活函數f計算，得到輸出激活值。