[發(fā)明專(zhuān)利]一種基于反函數(shù)的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法、系統(tǒng)及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201710673883.6
• 申請(qǐng)日: 2017-08-08
• 公開(kāi)（公告）號(hào): CN107644253A
• 公開(kāi)（公告）日: 2018-01-30
• 發(fā)明（設(shè)計(jì)）人: 趙寶新;須成忠;趙娟娟
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類(lèi)號(hào): G06N3/08
• 分類(lèi)號(hào): G06N3/08
• 代理公司: 深圳市科進(jìn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)44316
• 代理人: 趙勍毅

1.一種基于反函數(shù)的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，包括：

步驟a：通過(guò)前向傳輸計(jì)算神經(jīng)網(wǎng)絡(luò)隱含層和輸出層的數(shù)值；

步驟b：根據(jù)實(shí)際輸出值，通過(guò)反函數(shù)計(jì)算輸出層需要的輸入值；

步驟c：計(jì)算所述反函數(shù)計(jì)算得到的輸入值與所述前向傳輸計(jì)算得到的輸出層的數(shù)值之間的差異值，根據(jù)所述差異值，利用負(fù)反饋調(diào)節(jié)方法調(diào)節(jié)輸出層的參數(shù)值，并利用梯度下降法調(diào)節(jié)隱含層的參數(shù)值。

2.根據(jù)權(quán)利要求1所述的基于反函數(shù)的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，在所述步驟a中，所述通過(guò)前向傳輸計(jì)算神經(jīng)網(wǎng)絡(luò)隱含層和輸出層的數(shù)值具體為：

隱含層輸入U(xiǎn)⁽²⁾：

U⁽²⁾＝W⁽²⁾X

上述公式中，W⁽²⁾是隱含層的權(quán)重參數(shù)，上標(biāo)(2)表示層數(shù)的標(biāo)號(hào)值，X＝{x₁,x₂,…,x_N}是一個(gè)N維向量；

隱含層輸出A⁽²⁾：

A⁽²⁾＝f(U⁽²⁾)

上述公式中，f是激活函數(shù)，若f為S型函數(shù)，則f(x)＝1/(1+e^-x)；

輸出層輸入U(xiǎn)⁽³⁾：

U⁽³⁾＝W⁽³⁾A⁽²⁾

上述公式中，W⁽³⁾是隱含層的權(quán)重參數(shù)，上標(biāo)(3)表示層數(shù)的標(biāo)號(hào)值；

輸出層輸出O：

O＝f(U⁽³⁾)

上述公式中，O＝{o₁,o₂…,o_K}是K維輸出向量，K由實(shí)際輸出值決定。

3.根據(jù)權(quán)利要求2所述的基于反函數(shù)的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，在所述步驟c中，所述利用負(fù)反饋調(diào)節(jié)方法調(diào)節(jié)輸出層的參數(shù)值具體包括：

步驟c1：將實(shí)際輸出值向中心區(qū)域平移ε步長(zhǎng)；

步驟c2：通過(guò)反函數(shù)計(jì)算平移數(shù)值的輸入值；

步驟c3：計(jì)算反函數(shù)計(jì)算得到的輸入值與前向傳輸計(jì)算得到的輸出層的輸入值之間的差異值，根據(jù)所述差異值，利用負(fù)反饋調(diào)節(jié)的方法調(diào)節(jié)輸出層的各個(gè)參數(shù)值，使輸出接近由反函數(shù)計(jì)算得到的輸入值；所述反函數(shù)計(jì)算公式為：

上述公式中，是負(fù)反饋調(diào)節(jié)的平衡點(diǎn)，j是第j個(gè)輸出神經(jīng)元。