[發明專利]深度學習softmax分類器的硬件實現電路及其控制方法

有效

• 申請號: 201711039589.6
• 申請日: 2017-10-30
• 公開（公告）號: CN109726809B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 張玉;康君龍;謝東亮
• 申請（專利權）人: 賽靈思公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F7/485;G06F7/487;G06F7/556
• 代理公司: 北京卓孚律師事務所 11821
• 代理人: 任宇

本公開提供一種深度學習softmax分類器的硬件實現電路及其控制方法。硬件實現電路(100)包括：接口數據讀控制模塊(110)，用于從外部存儲器中讀取計算數據給指數計算模塊(120)；指數計算模塊(120)，用于并行地進行浮點元素的指數運算；加法樹模塊(130)，用于進行指數計算模塊(120)的運算結果的累加運算；緩存模塊(140)，用于緩存指數計算模塊(120)的運算結果以及加法樹模塊(130)的累加運算結果；除法計算模塊(150)，用于并行地計算各個浮點元素的指數運算結果與所有浮點元素指數運算結果之和的比值；接口數據寫控制模塊(160)，用于將除法計算模塊(150)的計算結果寫入外部存儲器。

技術領域

本發明涉及人工神經網絡，更具體涉及深度學習softmax分類器的硬件實現電路及其控制方法。

背景技術

深度學習(Deep Learning)的概念源于人工神經網絡(ANN)的研究，是機器學習中一種基于對數據進行表征學習的方法。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合底層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。

深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。

深度學習與傳統神經網絡有相同的地方也有很多不同。相同在于二者都采用相似的分層結構，系統包括輸入層、隱層、輸出層組成的多層網絡，相鄰層節點之間有連接，同層以及跨層節點之間相互無連接，每層可以看做是一個邏輯回歸模型。這種分層結構是比較接近人類大腦的結構的。不同在于訓練機制，傳統神經網絡采用的是反向傳播的方式進行，簡單來說就是采用迭代的算法來訓練整個網絡，隨機設定初值，計算當前網絡的輸出，根據當前輸出和標簽值的差來改變前面各層的參數，直到收斂。而深度學習整體上是采用逐層訓練，再進行整體調優的策略。

Softmax在深度學習中有非常廣泛的應用，Logistic回歸是處理二分類問題，而Softmax回歸(Softmax Regression)主要是解決多分類問題。

Softmax是Logistc回歸在多分類上的推廣，即類標簽y的取值大于等于2。假設有m個訓練樣本{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),………(x^(m),y^(m))}，在對Softmax回歸，其輸入特征為：類標記為：y⁽ⁱ⁾∈{0,1,………k}。假設函數為對于每一個樣本估值其所屬的類別的概率P(y＝j|x)，具體的假設函數為：

其中θ表示向量則對于每一個樣本估計其所屬的類別的概率為：

發明內容

本發明的目的在于提供一種深度學習softmax分類器的硬件實現電路及其控制方法。

根據本發明的第一方面，提供一種softmax分類器的硬件實現電路，該硬件實現電路可以包括：接口數據讀控制模塊，用于從外部存儲器中讀取計算數據給指數計算模塊；指數計算模塊，用于并行地進行浮點元素的指數運算；加法樹模塊，用于進行指數計算模塊的運算結果的累加運算；緩存模塊，用于緩存指數計算模塊的運算結果以及加法樹模塊的累加運算結果；除法計算模塊，用于并行地計算各個浮點元素的指數運算結果與所有浮點元素指數運算結果之和的比值；接口數據寫控制模塊，用于將除法計算模塊的計算結果寫入外部存儲器中。

在根據本發明第一方面的硬件實現電路中，所述指數計算模塊和所述除法計算模塊的計算并行度可以取決于模塊接口的數據帶寬，如下公式所示：

IO_data_width×IO_freq＝Calc_num×Calc_data_width×Calc_freq，