[發明專利]人工神經網絡處理裝置

有效

• 申請號: 201710258133.2
• 申請日: 2017-04-19
• 公開（公告）號: CN107679621B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 方紹峽;隋凌志;于謙;王俊斌;單羿
• 申請（專利權）人: 賽靈思公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京卓孚律師事務所 11821
• 代理人: 任宇

本申請公開一種用于運行神經網絡的處理器，其包括內存控制器組、片上總線和處理器內核。處理器內核進一步包括：寄存器、指令模塊、數據傳輸控制器、緩存模塊、卷積計算單元和混合計算單元。該處理器支持多種神經網絡算法并且可以顯著提高運算效率。

發明領域

本申請涉及人工神經網絡，例如卷積神經網絡(CNN)。更具體地，本申請涉及一種用于實現人工神經網絡的處理裝置。

背景技術

人工智能近年得到迅速發展，極大地影響了人們的生活。基于人工神經網絡，尤其是卷積神經網絡(CNN，Convolutional Neural Network)的方法在很多應用中、例如在計算機視覺領域中得到廣泛使用。

圖1示出了典型的深度卷積神經網絡(CNN)的實施例。如圖1所示，典型的CNN由一系列有序運行的層組成。

CNN模型的參數被稱為“權重”。CNN的第一層讀取輸入圖像，并輸出一系列的特征圖。下一層讀取由上一層產生的特征圖，并輸出新的特征圖。最后，一個分類器輸出輸入圖像可能屬于的每一類別的概率。CNN中兩種基本層類型包括卷積層(CONV層)和全連層(FC層)，在CONV層之后通常有池化層(Pooling層)。

例如，對于一個CNN層，表示第j個輸入特征圖，表示第i個輸出特征圖，bi表示第i個輸出圖的偏置項。對于CONV層，n_in和n_out分別代表輸入和輸出特征圖的數量。對于FC層，n_in和n_out分別代表輸入和輸出特征向量的長度。

此時，CONV層以一系列特征圖作為輸入，并以卷積內核卷積獲得輸出特征圖。通常與CONV層相連的非線性層，即，非線性激勵函數被施加到輸出特征圖中的每個元素。

CONV層可以用表達式(1)表示：

其中，g_i,j是應用到第j個輸入特征圖和第i個輸出特征圖的卷積內核。

FC層是應用于輸入特征向量上的一個線性變換，其可以用表達式(2)表示：

f^out＝Wfⁱⁿ+b (2)

其中，W是一個n_out×n_in變換矩陣，b是偏置項。應注意，對于FC層，輸入的不是幾個二維特征圖的組合，而是一個特征向量。因此，在表達式(2)中，參數n_in和n_out實際上對應于輸入和輸出特征向量的長度。

池化層通常與CONV層相連，用于輸出每個特征圖中的每個分區的最大值或平均值。池化層的最大值可以由表達式(3)表示:

其中，p是池化內核的大小。這種非線性的“降采樣”不僅為下一層降低了特征圖的大小和計算，還提供了一種平移不變性。

相較于傳統算法，CNN需要較高的運算量與帶寬需求。目前主要依靠中央處理器(CPU)陣列、圖形處理器(GPU)陣列完成計算。然而，CPU、GPU等通用處理器不能充分利用卷積神經網絡的特點，因此導致運算效率較低，帶來了較大的功耗、成本開銷。此外，如今愈發需要在終端設備上以低成本、低功耗、高性能來完成人工智能算法的計算，而現有通用處理器無法滿足該需求。

發明內容