[發(fā)明專利]一種應(yīng)用于神經(jīng)網(wǎng)絡(luò)的SQRT激活方法

在審

• 申請?zhí)枺?/td>: 201810342616.5
• 申請日: 2018-04-17
• 公開（公告）號: CN108734273A
• 公開（公告）日: 2018-11-02
• 發(fā)明（設(shè)計）人: 楊小宇;陳宇飛
• 申請（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 上海科律專利代理事務(wù)所(特殊普通合伙) 31290
• 代理人: 葉鳳

1.一種新的神經(jīng)網(wǎng)絡(luò)的激活方法，其特征在于，該方法使用平方根函數(shù)作為神經(jīng)網(wǎng)絡(luò)激活函數(shù)，在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，數(shù)據(jù)經(jīng)線性單元正向傳播后，進(jìn)入激活單元進(jìn)行激活，激活單元使用平方根函數(shù)作為激活函數(shù)，將線性單元的每個輸出值求其平方值后輸出給下一層網(wǎng)絡(luò)完成激活；數(shù)據(jù)經(jīng)線性單元反向傳播后，同上進(jìn)入激活單元激活，此時激活單元使用相應(yīng)的平方根函數(shù)的導(dǎo)數(shù)作為激活函數(shù)，將線性單元傳回的梯度值求平方根導(dǎo)數(shù)，然后傳遞給上一層網(wǎng)絡(luò)完成誤差的反向傳播。

2.根據(jù)權(quán)利要求1所述的一種新的神經(jīng)網(wǎng)絡(luò)的激活方法，其特征在于，具體方法過程表征為：

(1)建立神經(jīng)網(wǎng)絡(luò)模型，具體實(shí)施過程：

(11)根據(jù)相應(yīng)樣本要求，選擇合適的線性過濾器組成神經(jīng)網(wǎng)絡(luò)的線性單元；激活單元使用平方根函數(shù)作為激活函數(shù)構(gòu)成；線性單元與激活單元構(gòu)成一層神經(jīng)網(wǎng)絡(luò)，多層神經(jīng)網(wǎng)絡(luò)疊加構(gòu)成神經(jīng)網(wǎng)絡(luò)模型，其中層數(shù)根據(jù)樣本要求具體選擇；

(12)依據(jù)樣本特征選擇適應(yīng)的損失函數(shù)作為神經(jīng)網(wǎng)絡(luò)的頂層，與多層神經(jīng)網(wǎng)絡(luò)連接一起完成神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建；

(2)對神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化

完成神經(jīng)網(wǎng)絡(luò)的搭建后，采用Xavier隨機(jī)化方法(此技術(shù)已屬現(xiàn)有技術(shù))對步驟(1)中構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行相應(yīng)的權(quán)重、參數(shù)初始化，完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)備工作

(3)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，激活過程中使用SQRT激活方法，具體實(shí)施過程：

本發(fā)明的平方根函數(shù)屬于單調(diào)遞增函數(shù)、成中心對稱且其導(dǎo)數(shù)收斂于0，因此可以使用SQRT激活方法對步驟(1)中構(gòu)建的神經(jīng)網(wǎng)絡(luò)進(jìn)行激活；算法步驟如下：

(31)神經(jīng)網(wǎng)絡(luò)正向傳播數(shù)據(jù)，樣本信息經(jīng)過下層線性單元計算傳播至激活單元；

(32)輸入數(shù)值，計算其中x_i是第i個通道的激活神經(jīng)元對應(yīng)的輸入數(shù)值；將每個激活單元所得的計算結(jié)果輸出、傳播至上層神經(jīng)網(wǎng)絡(luò)，完成對樣本數(shù)據(jù)的激活；

(33)樣本經(jīng)過多層網(wǎng)絡(luò)處理后進(jìn)入頂層，由頂層損失函數(shù)計算誤差及相應(yīng)梯度值，并反向傳播誤差及梯度信息；

(34)神經(jīng)網(wǎng)絡(luò)反向傳播誤差，梯度信息經(jīng)過上層線性單元計算再傳播至激活單元；

(35)輸入數(shù)值，計算其中x_i是第i個通道的激活神經(jīng)元對應(yīng)的輸入數(shù)值；將每個激活單元所得的計算結(jié)果輸出、傳播至下層神經(jīng)網(wǎng)絡(luò)，完成對梯度誤差的激活與反向傳播；

(4)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測試及使用過程，激活過程中使用SQRT激活方法，具體實(shí)施過程：

(41)神經(jīng)網(wǎng)絡(luò)正向傳播數(shù)據(jù)，測試樣本經(jīng)過下層線性單元計算，結(jié)果傳播至激活單元；

(42)輸入數(shù)值，計算其中x_i是第i個通道的激活神經(jīng)元對應(yīng)的輸入數(shù)值；將每個激活單元所得的計算結(jié)果輸出，并傳播至上層神經(jīng)網(wǎng)絡(luò)，完成對樣本數(shù)據(jù)的激活。