[發明專利]基于MCP罰函數的小世界回聲狀態網絡時間序列預測方法

在審

• 申請號: 202010640834.4
• 申請日: 2020-07-06
• 公開（公告）號: CN111832817A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 劉半藤;陳唯;王章權;陳友榮
• 申請（專利權）人: 浙江樹人學院(浙江樹人大學)
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/00
• 代理公司: 紹興市寅越專利代理事務所(普通合伙) 33285
• 代理人: 鄧愛民

本發明公開一種時間序列預測方法，通過在小世界回聲狀態網絡的構建中采用MCP懲罰模型優化小世界回聲狀態網絡的輸出權重，解決常規回歸方法計算權重時出現的過擬合問題，選擇LQA近似分解MCP罰函數，求得模型的近似解，解決MCP罰函數在原點不可導問題，并且提出基于融入交叉和排擠策略的人工蜂群算法優化MCP懲罰模型的超參數，保證優化參數的全局最優性的同時提高收斂有效性，以此提高MCP懲罰模型的有效壓縮能力，此方法在非線性時間序列預測中具有較高的應用價值。

技術領域：

本發明涉及一種時間序列預測方法，具體涉及基于MCP罰函數的小世界回聲狀態網絡時間序列預測方法。

背景技術：

時間序列預測已經在工業、金融、軍事等領域中得到了廣泛的應用，由于實際生活中的時間序列大多呈現非線性和不穩定性，因此對于非線性和不穩定時間序列的預測問題一直備受各個領域中研究學者的關注。目前，對于非線性和不穩定時間序列進行預測的主要方法之一是采用回聲狀態網絡(Echo State Network，ESN)。ESN的特點是在訓練時只需訓練儲備池至輸出層的輸出權重，解決傳統神經網絡存在的易陷入局部最優、訓練算法復雜等問題。因此，計算輸出權重是回聲狀態網絡學習的關鍵。

傳統ESN在計算輸出權重時通常采用偽逆法、Ridge回歸法或Lasso回歸法，在處理高維非線性數據時易出現共線性問題和過擬合問題。因此，為了解決以上問題并滿足對非線性和不穩定時間序列準確有效的預測需求，需要一種方法進一步優化ESN的輸出權重，本案由此而生。

發明內容：

為了滿足回聲狀態網絡對于非線性和不穩定時間序列預測需求，本發明提出一種基于融入交叉和排擠策略人工蜂群的MCP-SWESN時間序列預測方法，更適合高維非線性數據的處理，能夠優化上述現有技術中出現的共線性和過度擬合問題。

為了實現上述發明目的，本發明所采用的技術方案為：

基于MCP罰函數的小世界回聲狀態網絡時間序列預測方法，內容包括：

步驟1：設置小世界回聲狀態網絡參數、輸出權值優化方案參數、誤差閾值、最大迭代次數，并輸入歷史時間序列樣本；

步驟2：小世界回聲狀態網絡構建，獲得輸出權重初值并開始訓練；

步驟3：判斷訓練誤差與設定閾值的關系，若訓練誤差小于等于設定閾值則訓練結束，若訓練誤差大于設定閾值則進行輸出權值的優化；

對輸出權值優化時，先構建MCP懲罰模型，然后采用局部二次近似算法對MCP罰函數進行求解，對MCP懲罰模型的超參數采用基于融入交叉和排擠策略的人工蜂群算法進行優化；

步驟4：獲得更新的輸出權重后開始訓練，并判斷迭代次數與最大迭代次數的關系，若迭代次數小于等于最大迭代次數，則返回步驟3，若迭代次數大于最大迭代次數，則結束訓練。

進一步，所述步驟2中的小世界回聲狀態網絡構建的具體內容包括：設置小世界回聲狀態網絡規模以及儲備池的拓撲結構；輸入權重矩陣W_in、儲備池內部權重矩陣W_x隨機生成，確定后訓練時不再改變，初始化輸出權重矩陣W_out，開始訓練獲得輸出權重初值；

小世界回聲狀態網絡的狀態方程和輸出方程分別為：

x(t)＝f(W_inu(t)+W_xx(t-1)) (1)

y(t)＝x^T(t)W_out (2)

其中,u(t)、x(t)和y(t)分別表示儲備池t時刻的輸入變量、狀態變量和輸出變量；激活函數f取雙曲正切tanh函數；