[發(fā)明專利]利用簡化的激活函數(shù)計算多層感知器模型的神經(jīng)元層的方法

在審

• 申請?zhí)枺?/td>: 201780054626.2
• 申請日: 2017-09-04
• 公開（公告）號: CN109643392A
• 公開（公告）日: 2019-04-16
• 發(fā)明（設計）人: A.貢托羅
• 申請（專利權(quán)）人: 羅伯特·博世有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N7/00;G05B13/04;F02P5/15;G06F15/78
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張濤;申屠偉進

本發(fā)明涉及一種用于計算多層感知器模型的神經(jīng)元層的方法，其利用以硬件構(gòu)造的固定連線的計算核（11,13,14）來計算耦合的函數(shù)塊中的固定預定的計算算法，其中借助于激活函數(shù)計算所述感知器模型的神經(jīng)元層的神經(jīng)元（20），其中所述激活函數(shù)對應于簡化的S形函數(shù)和簡化的tanh函數(shù)，其中所述激活函數(shù)通過指數(shù)函數(shù)的負定義域的零點鏡像形成。

技術(shù)領(lǐng)域

本發(fā)明涉及在單獨的硬連線模型計算單元中計算函數(shù)模型，特別是用于計算多層感知器模型。

背景技術(shù)

技術(shù)系統(tǒng)（例如內(nèi)燃發(fā)動機、電驅(qū)動器、電池存儲器等）的控制功能通常用表示真實系統(tǒng)的數(shù)學反映的模型來實現(xiàn)。然而，在物理模型的情況下，特別是在復雜關(guān)聯(lián)的情況下缺乏所需的計算精度，并且在當今的計算能力的情況下通常難以在控制設備所需的實時要求內(nèi)計算這種模型。對于這樣的情況，設想使用基于數(shù)據(jù)的模型，所述模型僅基于借助于測試臺等獲得的訓練數(shù)據(jù)來描述輸出參數(shù)和輸入?yún)?shù)之間的關(guān)聯(lián)。特別地，基于數(shù)據(jù)的模型適用于對復雜關(guān)聯(lián)進行建模，在復雜關(guān)聯(lián)的情況下在模型中適當?shù)乜紤]以下多個輸入?yún)?shù)，在所述多個輸入?yún)?shù)之間存在相互關(guān)系。此外，借助于基于數(shù)據(jù)的模型進行建模提供了通過添加各個輸入?yún)?shù)來補充模型的可能性。

基于數(shù)據(jù)的函數(shù)模型通常基于大量支持點，以便實現(xiàn)對相應的應用來說足夠的建模精度。由于支持點數(shù)量眾多，為了使用基于數(shù)據(jù)的函數(shù)模型（例如高斯過程模型或多層感知器模型）來計算模型值，需要高計算能力。因此，為了能夠?qū)崟r地在控制設備應用中計算這種基于數(shù)據(jù)的函數(shù)模型，可以設置基于硬件設計的模型計算單元。

發(fā)明內(nèi)容

根據(jù)本發(fā)明，設置了一種根據(jù)權(quán)利要求1的用于計算多層感知器模型的神經(jīng)元層的方法，其使用以硬件構(gòu)造的固定連線的計算核來計算耦合的函數(shù)塊中的固定預定的計算算法，以及根據(jù)并列獨立權(quán)利要求的模型計算單元、控制設備和控制設備的用途。

其他設計在從屬權(quán)利要求中加以說明。

根據(jù)第一方面，設置了一種用于計算多層感知器模型的神經(jīng)元層的方法，其使用以硬件構(gòu)造的固定連線的計算核來計算耦合的函數(shù)塊中的固定預定的計算算法，其中借助于激活函數(shù)計算感知器模型的神經(jīng)元層的神經(jīng)元，其中激活函數(shù)具有簡化的S形函數(shù)和/或簡化的tanh（雙曲正切）函數(shù)，其中簡化的S形函數(shù)和tanh函數(shù)通過指數(shù)函數(shù)的負定義域的零點鏡像形成。

上述方法的思想在于提供一種計算規(guī)則，用于在基于硬件的計算單元中作為激活函數(shù)的全部或作為激活函數(shù)的一部分來計算S形函數(shù)或tanh函數(shù)的簡化。特別是，該計算規(guī)則應僅將指數(shù)函數(shù)用作特殊函數(shù)，否則僅使用乘法和加法，以避免耗時和耗費資源的除法計算。這使得可以在不設置附加運算塊的情況下使用適合于計算多層感知器模型的硬件計算單元。為了實現(xiàn)這一點，可以使用指數(shù)函數(shù)的負定義域的零點鏡像并且使用將施加激活函數(shù)的值的容易讀取的符號位來計算S形函數(shù)或tanh函數(shù)。

此外，具有多個神經(jīng)元的感知器模型的神經(jīng)元層可以依據(jù)輸入?yún)?shù)向量的一個或多個輸入?yún)?shù)、具有加權(quán)因子的加權(quán)矩陣和為每個神經(jīng)元預定的偏移值計算每個神經(jīng)元的輸出參數(shù)，其中對于每個神經(jīng)元，用通過神經(jīng)元和輸入?yún)?shù)確定的加權(quán)因子加權(quán)的輸入?yún)?shù)值之和被施加上、特別是加上給該神經(jīng)元預定的偏移值，并且用激活函數(shù)變換結(jié)果，以便獲得神經(jīng)元的輸出參數(shù)。

可以規(guī)定，根據(jù)變量選擇簡化的S形函數(shù)或簡化的tanh函數(shù)作為激活函數(shù)。

可以規(guī)定，針對值計算簡化的S形函數(shù)的函數(shù)值，其方式是基于該值的負絕對值計算指數(shù)函數(shù)，其中函數(shù)值在該值的符號為正的情況下被計算為“1”與以下乘積的和，該乘積是“0.5”與指數(shù)函數(shù)的結(jié)果相乘，并且在符號為負的情況下被計算為0.5和指數(shù)函數(shù)的結(jié)果的乘積。通過這種方式，將指數(shù)函數(shù)的結(jié)果乘以0.5并且被施加以階梯函數(shù)的結(jié)果。