[發(fā)明專利]基于MCP罰函數(shù)的小世界回聲狀態(tài)網(wǎng)絡(luò)時間序列預(yù)測方法

在審

• 申請?zhí)枺?/td>: 202010640834.4
• 申請日: 2020-07-06
• 公開（公告）號: CN111832817A
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計）人: 劉半藤;陳唯;王章權(quán);陳友榮
• 申請（專利權(quán)）人: 浙江樹人學(xué)院(浙江樹人大學(xué))
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/00
• 代理公司: 紹興市寅越專利代理事務(wù)所(普通合伙) 33285
• 代理人: 鄧愛民

1.基于MCP罰函數(shù)的小世界回聲狀態(tài)網(wǎng)絡(luò)時間序列預(yù)測方法，其特征在于：包括以下內(nèi)容：

步驟1：設(shè)置小世界回聲狀態(tài)網(wǎng)絡(luò)參數(shù)、輸出權(quán)值優(yōu)化方案參數(shù)、誤差閾值、最大迭代次數(shù)，并輸入歷史時間序列樣本；

步驟2：小世界回聲狀態(tài)網(wǎng)絡(luò)構(gòu)建，獲得輸出權(quán)重初值并開始訓(xùn)練；

步驟3：判斷訓(xùn)練誤差與設(shè)定閾值的關(guān)系，若訓(xùn)練誤差小于等于設(shè)定閾值則訓(xùn)練結(jié)束，若訓(xùn)練誤差大于設(shè)定閾值則進(jìn)行輸出權(quán)值的優(yōu)化；

對輸出權(quán)值優(yōu)化時，先構(gòu)建MCP懲罰模型，然后采用局部二次近似算法對MCP罰函數(shù)進(jìn)行求解，對MCP懲罰模型的超參數(shù)采用基于融入交叉和排擠策略的人工蜂群算法進(jìn)行優(yōu)化；

步驟4：獲得更新的輸出權(quán)重后開始訓(xùn)練，并判斷迭代次數(shù)與最大迭代次數(shù)的關(guān)系，若迭代次數(shù)小于等于最大迭代次數(shù)，則返回步驟3，若迭代次數(shù)大于最大迭代次數(shù)，則結(jié)束訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的基于MCP罰函數(shù)的小世界回聲狀態(tài)網(wǎng)絡(luò)時間序列預(yù)測方法，其特征在于：所述步驟2中的小世界回聲狀態(tài)網(wǎng)絡(luò)構(gòu)建的具體內(nèi)容包括：設(shè)置小世界回聲狀態(tài)網(wǎng)絡(luò)規(guī)模以及儲備池的拓?fù)浣Y(jié)構(gòu)；輸入權(quán)重矩陣W_in、儲備池內(nèi)部權(quán)重矩陣W_x隨機(jī)生成，確定后訓(xùn)練時不再改變，初始化輸出權(quán)重矩陣W_out，開始訓(xùn)練獲得輸出權(quán)重初值；

小世界回聲狀態(tài)網(wǎng)絡(luò)的狀態(tài)方程和輸出方程分別為：

x(t)＝f(W_inu(t)+W_xx(t-1)) (1)

y(t)＝x^T(t)W_out (2)

其中,u(t)、x(t)和y(t)分別表示儲備池t時刻的輸入變量、狀態(tài)變量和輸出變量；激活函數(shù)f取雙曲正切tanh函數(shù)；

輸出權(quán)重矩陣W_out在訓(xùn)練時獲得，即最小化目標(biāo)函數(shù)對應(yīng)的W_out值，如公式(3)所示，采用偽逆法獲得，如公式(4)所示：

W_out＝arg min||XW_out-Y||² (3)

其中，(X,Y)是訓(xùn)練樣本，是X的偽逆。

3.根據(jù)權(quán)利要求2所述的基于MCP罰函數(shù)的小世界回聲狀態(tài)網(wǎng)絡(luò)時間序列預(yù)測方法，其特征在于：所述步驟3中最小化添加懲罰項的目標(biāo)函數(shù)對應(yīng)的W_out估計值如公式(5)所示：

MCP罰函數(shù)如公式(6)所示：

上式中，J表示變量個數(shù)，ρ_λ,γ表示罰函數(shù)，γ,λ為可調(diào)超參數(shù)，θ為參數(shù)向量，本發(fā)明中為輸出權(quán)重W_out。

4.根據(jù)權(quán)利要求3所述的基于MCP罰函數(shù)的小世界回聲狀態(tài)網(wǎng)絡(luò)時間序列預(yù)測方法，其特征在于：所述步驟2中采用局部二次近似算法對MCP罰函數(shù)求解具體如下：

假設(shè)已知，MCP罰函數(shù)近似分解如公式(7)所示；式(7)中前兩項與W_out無關(guān)，可看作常數(shù)C，則W_out估計值如公式(8)所示：

其中，為輸出權(quán)重初值，由公式(4)獲得，為罰函數(shù)的一階導(dǎo)，D為W_out中非零元素個數(shù)；

通過對式(8)重復(fù)執(zhí)行Ridge回歸解可得輸出權(quán)重估計如下：

5.根據(jù)權(quán)利要求4所述的基于MCP罰函數(shù)的小世界回聲狀態(tài)網(wǎng)絡(luò)時間序列預(yù)測方法，其特征在于：所述步驟3中對MCP懲罰模型的超參數(shù)優(yōu)化方法如下：

Step1：初始化參數(shù)，設(shè)置食物源種群數(shù)量為Z，種群最大迭代次數(shù)為Q，交叉概率為K，排擠因子為P，排擠數(shù)目為P_a，當(dāng)前迭代次數(shù)q＝0，并初始化γ,λ，作為初始食物源，即隨機(jī)生成一組均勻分布γ和λ可調(diào)超參數(shù)組合；

Step2：輸入訓(xùn)練樣本，計算訓(xùn)練誤差，通過訓(xùn)練誤差求出適應(yīng)度值F：

F＝1/ρ_λ,γ(|θ|) (10)

Step3：對每一個食物源附近未知解空間進(jìn)行搜索，生成新的食物源，即隨機(jī)在一定范圍內(nèi)生成一個空間擾動向量L，分別針對γ和λ可調(diào)超參數(shù)在其數(shù)值空間附近進(jìn)行隨機(jī)方向搜索獲得新食物源，直至食物源種群數(shù)量達(dá)到2*Z；

Step4：分別針對γ和λ可調(diào)超參數(shù)進(jìn)行歸一化處理，隨機(jī)選擇P個食物源作為排擠因子，循環(huán)計算其他食物源與排擠因子的γ和λ的差值，按照差值之和進(jìn)行升序排序，淘汰前P_a個食物源，并重新隨機(jī)生成P_a個食物源以保證種群數(shù)量不發(fā)生改變；

Step5：隨機(jī)從種群中抽取兩個食物源，計算食物源的數(shù)值位數(shù)，循環(huán)執(zhí)行以下交叉操作，直到完成食物源中每一位的交叉操作，獲得新的兩個食物源，并添加到新種群：選擇食物源的第i位，隨機(jī)生成[0,1]區(qū)間的隨機(jī)數(shù)，若該隨機(jī)數(shù)大于預(yù)先設(shè)定的交叉概率K，則不改變，否則進(jìn)行交叉操作，即互換兩個食物源的第i位數(shù)值；

Step6：計算適應(yīng)度值，根據(jù)適應(yīng)度值對當(dāng)前種群中食物源進(jìn)行降序排序，選擇當(dāng)前種群中適應(yīng)度值排在最后的一部分食物源，對其進(jìn)行食物源初始化；記錄當(dāng)代食物源存入食物源記錄集合中，若集合中已存在該食物源，則對其計數(shù)，使其值增1，若其值達(dá)到最大進(jìn)化閾值，則對其進(jìn)行重新初始化，并使得其值歸0，保留當(dāng)代最優(yōu)解，若當(dāng)代最優(yōu)解優(yōu)于歷史最優(yōu)解，則將其替代，反之，不發(fā)生改變，保留歷史最優(yōu)解進(jìn)入下一代種群；

Step7：令q＝q+1，若q≤Q，則跳到步驟Step2，否則，進(jìn)入步驟Step8；

Step8：輸出歷史最優(yōu)解，即獲得最優(yōu)超參數(shù)γ,λ，結(jié)束訓(xùn)練。