[發明專利]一種Softmax層的設計方法及基于該Softmax層的神經網絡

在審

• 申請號: 201710890630.4
• 申請日: 2017-09-27
• 公開（公告）號: CN107491808A
• 公開（公告）日: 2017-12-19
• 發明（設計）人: 張旭;段成德;于治樓
• 申請（專利權）人: 濟南浪潮高新科技投資發展有限公司
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 孟峣

技術領域

本發明涉及人工智能技術領域，具體地說是一種Softmax層的設計方法及基于該Softmax層的神經網絡。

背景技術

神經網絡技術時下非常流行，它模擬人腦神經元的連接方式，在模式識別等領域獲得了很多的成功。一般神經網絡的最后一層是Softmax層，它能將一個含任意實數的K維的向量“壓縮”到另一個K維實向量中，使得每一個元素的范圍都在(0,1)之間，并且所有元素的和為1。這樣正樣本的結果將趨近于1，而負樣本的結果趨近于0。這樣為多類別分類提供了方便。

Softmax層是logistic回歸模型在多分類問題上的推廣，可用來解決多分類問題。傳統的Softmax層包括輸入值以及輸出值，這些值的數值類型一般是確定的浮點數。現實生活中存在很多并不能被準確數值描述的數據，同時某些精確數值也不可能被機器精確地表述，因此衍生出來區間算法來處理這類數據。為了使這類數據也能夠利用神經網絡技術解決問題，本發明提供一種相應技術，來彌補神經網絡無法處理區間數據的不足。

發明內容

本發明的技術任務是針對以上不足之處，提供一種Softmax層的設計方法及基于該Softmax層的神經網絡。

一種Softmax層的設計方法，其設計過程為：

一、首先為神經網絡的Softmax層中提供輸入值、輸出值，這里的輸入值、輸出值為區間數值；

二、通過區間算法，將Softmax層的輸入值以及輸出值，定義成區間數據類型，從而形成區間Softmax層。

所述區間算法包括：

加法：[x₁,x₂]+[y₁,y₂]＝[x₁+x₂,y₁+y₂]；

減法：[x₁,x₂]-[y₁,y₂]＝[x₁-y₂,x₂-y₁]；

乘法：[x₁,x₂]*[y₁,y₂]＝[min(x₁y₁,x₂y₁,x₁y₂,x₂y₂),max(x₁y₁,x₂y₁,x₁y₂,x₂y₂)]。

獲取Softmax層的輸入值、輸出值通過獲取Softmax層的輸入元素實現，每個元素均為區間數據類型。

在步驟二中，通過區間算法獲取的區間數據類型的上界時，其過程為，

將區間形式的輸入元素，全部進行e指數運算，分別存儲，并將所有的區間元素的上界、下界的e指數結果分別累加求和；

用相應元素的上界e指數值，除以所有輸入元素的下界的e指數值的和，獲得對應輸出元素的上界。

獲取區間數據類型的上界通過以下公式進行：

其中，為神經網絡第L層即softmax層輸入的第k個區間元素，為對應的輸出區間元素的上界。

在步驟二中，通過區間算法獲取的區間數據類型的下界時，其過程為，

將區間形式的輸入元素，全部進行e指數運算，分別存儲，并將所有的區間元素的上界、下界的e指數結果分別累加求和；

用相應元素的下界e指數值，除以所有輸入元素的上界的e指數值的和，獲得對應輸出元素的下界。

獲取區間數據類型的下界通過以下公式進行：

其中，為神經網絡第L層即softmax層輸入的第k個區間元素，y_k為對應的輸出區間元素的下界。

一種神經網絡，配置有通過區間算法，將輸入值以及輸出值定義成區間數據類型的區間Softmax層。

Softmax層的輸入值、輸出值通過獲取Softmax層的輸入元素實現，每個元素均為區間數據類型。