[發(fā)明專利]一種基于反函數(shù)的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法、系統(tǒng)及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 201710673883.6
• 申請日: 2017-08-08
• 公開（公告）號(hào): CN107644253A
• 公開（公告）日: 2018-01-30
• 發(fā)明（設(shè)計(jì)）人: 趙寶新;須成忠;趙娟娟
• 申請（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 深圳市科進(jìn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)44316
• 代理人: 趙勍毅

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，特別涉及一種基于反函數(shù)的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法、系統(tǒng)及電子設(shè)備。

背景技術(shù)

2017年，中國人工智能迎來了快速發(fā)展的新紀(jì)元。其中深度學(xué)習(xí)應(yīng)用范圍最廣，并且在圖像識(shí)別、圍棋等方面取得了令人矚目的成就。隨著移動(dòng)終端設(shè)備對人們生活產(chǎn)生的巨大影響，人工智能也進(jìn)入了移動(dòng)終端的應(yīng)用。但是移動(dòng)終端的計(jì)算能力差，不適合復(fù)雜的、收斂速度慢的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。因此，加快神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的收斂速度不僅對具有大數(shù)據(jù)處理能力的服務(wù)器有重要的作用，而且也對使神經(jīng)網(wǎng)絡(luò)可以在計(jì)算能力低的移動(dòng)終端訓(xùn)練學(xué)習(xí)也有重要意義。

在神經(jīng)網(wǎng)絡(luò)優(yōu)化方面，現(xiàn)在的優(yōu)化算法都是基于梯度下降法，通過修改梯度下降的方向和梯度下降的步長進(jìn)行的。包括基于動(dòng)量變化的梯度下降法，使得梯度下降的方向與前一個(gè)時(shí)刻梯度的方向有關(guān)，這樣就可以避免搜索路徑震蕩問題。但是梯度下降中，每一層神經(jīng)網(wǎng)絡(luò)都需要計(jì)算梯度，這是非常消耗計(jì)算資源的，同時(shí)也帶來時(shí)間的消耗，使得訓(xùn)練速度變慢。自適應(yīng)子梯度下降調(diào)整法是根據(jù)各個(gè)參數(shù)的變化頻率分別調(diào)整梯度下降步長，這會(huì)時(shí)刻檢測所有參數(shù)的變化，并且還要記錄各個(gè)歷史數(shù)據(jù)，這不僅消耗內(nèi)存，而且也帶來計(jì)算復(fù)雜度的增加。自適應(yīng)動(dòng)能評(píng)估模型也是以動(dòng)量變化為基礎(chǔ)的，其根據(jù)歷史的梯度變化自動(dòng)調(diào)整動(dòng)量的變化，這也會(huì)帶來存儲(chǔ)和計(jì)算復(fù)雜度的增加。

在神經(jīng)元中，比較常用的非線性激活函數(shù)是S型生長曲線，即S(x)＝1/(1+e^-x)，取值區(qū)間為(0,1)，因此損失函數(shù)L＝0.5(y-S(x))²的取值范圍也是(0,1)，其中y為實(shí)際數(shù)值，取值為{0，1}。該函數(shù)的導(dǎo)數(shù)是S′(x)＝S(x)(1-S(x))，其最大值為0.25。損失函數(shù)對輸出層的輸入數(shù)值的調(diào)整為Δx＝-(S(x)-y)(1-S(x))S(x)，該調(diào)整的最大值為0.148。因此在梯度下降法中，每次回傳調(diào)整的參數(shù)變化最大為0.148*學(xué)習(xí)步長，每次訓(xùn)練只能得到一個(gè)非常小的調(diào)整，所以在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，需要進(jìn)行非常多次的迭代才能找到一個(gè)相對較好的局部最優(yōu)解，這也是非常消耗計(jì)算資源和時(shí)間的。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)實(shí)質(zhì)也是一種空間的變換，由于在多層高維空間變換中，存在非常多的非常多的解，但是如何找到一個(gè)全局的最優(yōu)解是非常困難的，通過梯度下降一般只能找到一個(gè)局部的最優(yōu)解，而且這個(gè)方法很容易陷入局部最優(yōu)而跳不出來。另外，梯度下降法對初始值的選取非常敏感，不同的初始值代表不同的空間坐標(biāo)。利用梯度下降法，在不同的空間方位下尋找到的局部最優(yōu)解也不相同。同時(shí)不同的初始值計(jì)算出來的梯度也不一樣，其收斂速度也會(huì)有影響。

綜上所述，現(xiàn)有的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法都是以增加算法的復(fù)雜度為代價(jià)，換取梯度下降方法的性能，以尋找到比較好的解集空間，這些方法不僅帶來了額外的計(jì)算消耗，而且也帶來了內(nèi)存的消耗，使神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程在時(shí)間復(fù)雜度上不斷增加。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于反函數(shù)的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，旨在至少在一定程度上解決現(xiàn)有技術(shù)中的上述技術(shù)問題之一。

為了解決上述問題，本發(fā)明提供了如下技術(shù)方案：

一種基于反函數(shù)的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，包括：

步驟a：通過前向傳輸計(jì)算神經(jīng)網(wǎng)絡(luò)隱含層和輸出層的數(shù)值；

步驟b：根據(jù)實(shí)際輸出值，通過反函數(shù)計(jì)算輸出層需要的輸入值；

步驟c：計(jì)算所述反函數(shù)計(jì)算得到的輸入值與所述前向傳輸計(jì)算得到的輸出層的數(shù)值之間的差異值，根據(jù)所述差異值，利用負(fù)反饋調(diào)節(jié)方法調(diào)節(jié)輸出層的參數(shù)值，并利用梯度下降法調(diào)節(jié)隱含層的參數(shù)值。

本發(fā)明實(shí)施例采取的技術(shù)方案還包括：在所述步驟a中，所述通過前向傳輸計(jì)算神經(jīng)網(wǎng)絡(luò)隱含層和輸出層的數(shù)值具體為：

隱含層輸入U(xiǎn)⁽²⁾：

U⁽²⁾＝W⁽²⁾X

上述公式中，W⁽²⁾是隱含層的權(quán)重參數(shù)，上標(biāo)(2)表示層數(shù)的標(biāo)號(hào)值，X＝{x₁,x₂,…,x_N}是一個(gè)N維向量；

隱含層輸出A⁽²⁾：

A⁽²⁾＝f(U⁽²⁾)

上述公式中，f是激活函數(shù)，若f為S型函數(shù)，則f(x)＝1/(1+e^-x)；

輸出層輸入U(xiǎn)⁽³⁾：

U⁽³⁾＝W⁽³⁾A⁽²⁾