[發明專利]高速全連接計算的硬件實現裝置與方法

在審

• 申請號: 201711035020.2
• 申請日: 2017-10-30
• 公開（公告）號: CN109740749A
• 公開（公告）日: 2019-05-10
• 發明（設計）人: 康君龍;張玉;謝東亮
• 申請（專利權）人: 北京深鑒智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/063;G06N99/00
• 代理公司: 北京卓孚知識產權代理事務所(普通合伙) 11523
• 代理人: 劉光明;任宇

本公開提供一種高速全連接計算的硬件實現裝置與方法。根據本發明的高速全連接計算的硬件實現裝置（200）包括：權重存儲模塊（210），用于存儲用于計算的權重數據，每次存儲m組權重數據，直到所有輸出通道的權重計算完成；向量存儲模塊（220），用于存儲n個輸入向量數據；輸出寄存模塊（230），用于實現計算結果的輸出緩存；核心計算模塊（240），用于使得由所述權重存儲模塊輸入的m組權重數據與由所述向量存儲模塊輸入的n個輸入向量數據進行相乘，各個相乘結果分別與之前的有效結果相加，并在乘加計算的結果上加上對應的偏置值，將最終計算結果輸出到所述輸出寄存模塊。

技術領域

本發明涉及人工神經網絡，更具體涉及高速全連接計算的硬件實現裝置與方法。

背景技術

深度學習（Deep Learning）的概念源于人工神經網絡（ANN）的研究，是機器學習中一種基于對數據進行表征學習的方法。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合底層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。

深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。

深度學習比較經典的網絡AlexNet的網絡模型是卷積層（conv）+池化層（pooling）+全連接層（fc）+softmax層，全連接層起到將學習到的分布式特征表示映射到樣本標記空間的作用。

全連接層的每一個結點都與上一層的所有結點相連，用來把前面提取到的特征綜合起來。圖1是一個簡單的人工神經網絡結構的示意圖。如圖1所示，前向計算過程就是一個線性的加權求和的過程，全連接層的每一個輸出都可以看成前一層的每一個結點乘以一個權重系數W，最后加上一個偏置值b得到。用矩陣形式可表達為：

。

神經網絡的全連接層（FC）運算中，每一個輸入都要與所有的權重進行乘加運算，所以涉及計算的數據量大，硬件帶寬需求高。針對這一特點進行合理的設計將可達到降低數據的硬件帶寬需求，提高計算效率的目的。

發明內容

如上所述，本發明針對神經網絡的全連接層運算中的上述特點進行合理的設計，以達到降低數據的硬件帶寬需求，從而提高計算效率的目的。

本發明設計了一種專用電路，用于實現神經網絡全連接運算。本發明的目的在于提供一種FC加速器的實現裝置，以便FC計算數據復用高、接口需求低，實現高算力、高性能。

為了實現上述目的，結合FC計算量大的特點，本發明提供一種高速FC計算的硬件實現裝置及方法。

根據本發明的第一方面，提供一種高速全連接計算的硬件實現裝置，其可以包括：權重存儲模塊，用于存儲用于計算的權重數據，每次存儲m組權重數據，直到所有輸出通道的權重計算完成；向量存儲模塊，用于存儲n個輸入向量數據；輸出寄存模塊，用于實現計算結果的輸出緩存；核心計算模塊，用于使得由所述權重存儲模塊輸入的m組權重數據與由所述向量存儲模塊輸入的n個輸入向量數據進行相乘，各個相乘結果分別與之前的有效結果相加，并在乘加計算的結果上加上對應的偏置值，將最終計算結果輸出到所述輸出寄存模塊。

在根據本發明第一方面的高速全連接計算的硬件實現裝置中，針對所述權重存儲模塊中的權重數據存儲、所述向量存儲模塊中的輸入向量數據存儲和所述核心計算模塊中的中間計算結果存儲，可以采用乒乓緩存。

在根據本發明第一方面的高速全連接計算的硬件實現裝置中，所述核心計算模塊可以包括m*n個計算核，從而可以同時實現m組權重數據和n個輸入向量的相乘運算。

在根據本發明第一方面的高速全連接計算的硬件實現裝置中，m和n的取值可以是以下情況之一：m=4，n=4；m=8，n=4；或m=4，n=8。