[發(fā)明專利]一種基于尺度變換激活函數(shù)的超限學(xué)習(xí)機(jī)的改進(jìn)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710059378.2
• 申請(qǐng)日: 2017-01-24
• 公開(kāi)（公告）號(hào): CN106991480A
• 公開(kāi)（公告）日: 2017-07-28
• 發(fā)明（設(shè)計(jì)）人: 曹九穩(wěn);李榮;王天磊;王建中
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06N99/00
• 分類號(hào): G06N99/00
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙)33240
• 代理人: 杜軍

技術(shù)領(lǐng)域

本發(fā)明涉及一種改進(jìn)的超限學(xué)習(xí)機(jī)算法，尤其是一種基于尺度變換激 活函數(shù)的超限學(xué)習(xí)機(jī)的改進(jìn)方法，屬于人工智能的技術(shù)領(lǐng)域。

背景技術(shù)

超限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)是一種單隱含層前 饋神經(jīng)網(wǎng)絡(luò)(Single-Hidden Layer Feedforward Neural Networks,SLFNs)， 僅有一個(gè)隱含層。相比較于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)需要多次迭代進(jìn)行參數(shù)的 調(diào)整，訓(xùn)練速度慢，容易陷入局部極小值，無(wú)法達(dá)到全局最小等缺點(diǎn)，ELM 算法隨機(jī)產(chǎn)生輸入層與隱含層的連接權(quán)值與偏置，且在訓(xùn)練過(guò)程中無(wú)需進(jìn) 行隱層參數(shù)迭代調(diào)整，只需要設(shè)置隱含層神經(jīng)元的個(gè)數(shù)以及激活函數(shù)，便 可以通過(guò)最小化平方損失函數(shù)得到輸出權(quán)值。此時(shí)，這個(gè)問(wèn)題轉(zhuǎn)化為一個(gè) 最小二乘問(wèn)題，最終化為求解一個(gè)矩陣的Moore-Penrose問(wèn)題。即：對(duì)于 給定的一個(gè)訓(xùn)練的數(shù)據(jù)集{(x_i,t_i)|x_i∈R^d,t_i∈R^m,i＝1,2,...,N}，其中x_i是訓(xùn)練數(shù)據(jù)向量；t_i是每一個(gè)樣本的目標(biāo)；d是每一個(gè)輸入樣本的特征向 量維數(shù)；m是總共的類數(shù)。ELM的目標(biāo)就是達(dá)到最小的訓(xùn)練誤差，即

這里，H是隱藏層的輸出矩陣，可以表示成

此外，β是輸出權(quán)重矩陣，T是訓(xùn)練樣本的目標(biāo)矩陣，可表示為

其中，是隨機(jī)生成的輸入權(quán)重和隱藏節(jié)點(diǎn)的偏 置。g(·)是激活函數(shù)。L是隱藏節(jié)點(diǎn)的個(gè)數(shù)。β是輸出權(quán)重矩陣，也就是 ELM需要進(jìn)行求解的量。T是訓(xùn)練樣本的目標(biāo)矩陣，也就是每一個(gè)樣本的 類號(hào)。然后通過(guò)使用Moore-Penrose逆得到最小二乘算法的解析解 為

近十年來(lái)，ELM已經(jīng)吸引了大量的關(guān)注。但是仍然存在一個(gè)現(xiàn)實(shí)的問(wèn) 題：對(duì)于固定的隱藏層的激活函數(shù)，隨機(jī)生成的未經(jīng)調(diào)整的隱藏層參數(shù)可 能導(dǎo)致許多經(jīng)過(guò)隱藏層參數(shù)作用后的數(shù)據(jù)落入激活函數(shù)的飽和區(qū)域(遠(yuǎn)離 原點(diǎn)的區(qū)域)或者原點(diǎn)附近的單調(diào)區(qū)域(近似一個(gè)線性函數(shù))，從而使得 泛化性能變差。其原因是對(duì)輸入數(shù)據(jù)進(jìn)行變換v＝W·x+b后，v的值集中在 激活函數(shù)的飽和區(qū)域或者原點(diǎn)附近(接近于線性函數(shù))。以兩個(gè)基準(zhǔn)圖像 識(shí)別數(shù)據(jù)集(AR人臉數(shù)據(jù)集和擴(kuò)展Yale B數(shù)據(jù)集)為例，使用Sigmoid 函數(shù)作為ELM中的激活函數(shù)，ELM的隱藏層輸出的分布如圖2 所示，可以看到，大多數(shù)隱藏節(jié)點(diǎn)輸出g(v)集中在了0和1(Sigmoid的飽 和狀態(tài))附近。這樣隱藏節(jié)點(diǎn)輸出矩陣的條件數(shù)會(huì)非常大，使得最后求解 輸出權(quán)重過(guò)程變得不穩(wěn)定，容易受噪聲干擾；此外，由于上述的這種隱藏 層輸出數(shù)據(jù)的分布的集中性，導(dǎo)致超限學(xué)習(xí)機(jī)的泛化性能變差。

因此，如何能夠較好地克服上述問(wèn)題，提高ELM的穩(wěn)健性和泛化能力 顯得非常重要。

發(fā)明內(nèi)容

本發(fā)明為了克服上述存在的傳統(tǒng)的超限學(xué)習(xí)機(jī)技術(shù)中的不足，提出了 一種基于尺度變換激活函數(shù)的超限學(xué)習(xí)機(jī)的改進(jìn)方法(SELM)。這個(gè)改進(jìn) 的超限學(xué)習(xí)機(jī)(即SELM)使用了一種基于尺度變換的激活函數(shù)，能夠根據(jù) 輸入數(shù)據(jù)的分布以及隨機(jī)生成的隱藏層參數(shù)值，自適應(yīng)地調(diào)節(jié)縮放和平移 參數(shù)，使隱藏層數(shù)據(jù)經(jīng)過(guò)尺度變換激活函數(shù)的映射后，在輸出區(qū)間上能夠 服從均勻分布，從而使得信息熵達(dá)到最大，即能夠從數(shù)據(jù)中得到更多信息， 具有更穩(wěn)健的泛化性能。

按照本發(fā)明提供的技術(shù)方案，提出了一種基于尺度變換激活函數(shù)的超 限學(xué)習(xí)機(jī)的改進(jìn)方法，包括如下步驟：

步驟1、隨機(jī)產(chǎn)生隱藏層節(jié)點(diǎn)參數(shù)(W,b)，

其中，w_i是連接第i個(gè)隱藏層節(jié)點(diǎn)和輸入神經(jīng)元的輸入權(quán)重，b_i是第i個(gè) 隱藏層節(jié)點(diǎn)的偏差，L是隱藏層節(jié)點(diǎn)個(gè)數(shù)。

步驟2、給定一個(gè)訓(xùn)練的數(shù)據(jù)集{(x_i,t_i)|x_i∈R^d,t_i∈R^m,i＝1,2,...,N}， 其中，x_i是訓(xùn)練數(shù)據(jù)向量；t_i是每一個(gè)樣本的目標(biāo)；d是每一個(gè)輸入樣本 的特征向量維數(shù)；m是輸出向量的維數(shù)。

經(jīng)過(guò)隱藏層節(jié)點(diǎn)參數(shù)(W,b)，變換所得隱藏層數(shù)據(jù)矩陣V：