[發明專利]基于粒子群優化的多分辨率小波神經網絡用電量預測方法

在審

• 申請號: 201611065141.7
• 申請日: 2016-11-28
• 公開（公告）號: CN106779177A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 熊長虹;姚玉永;鐘誠;張歡;王濤
• 申請（專利權）人: 國網冀北電力有限公司唐山供電公司;國家電網公司
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/06;G06N3/00;G06N3/04;G06N3/08
• 代理公司: 唐山順誠專利事務所(普通合伙)13106
• 代理人: 于文順,晏春紅

1.一種基于粒子群優化的多分辨率小波神經網絡用電量預測方法，其特征在于包括以下內容：

1)小波神經網絡：

小波神經網絡既有小波變換的時頻域特性與變焦特性，又有神經網絡自學習、自適應、容錯性與魯棒性，小波神經網絡的框架是基于BP神經網絡構建的，用小波激勵函數替換sigmoid函數，并通過平移因子和伸縮因子構造小波基，其中平移因子所實現的功能相當于BP神經網絡里的閾值，即對加權后的輸入數值進行橫向微調；伸縮因子的作用是在不同尺度下對其進行調整，也正是由于這兩項調整因子的結合，才使得小波神經網絡能夠更加精準地向目標函數進行逼近，采用緊密型結構對小波神經網絡進行構建，構造出來的3層小波神經網絡結構；

設輸入層為I個單元，輸入向量: X=[x₁,x₂,……,x_I]，隱含層為J個單元，激勵函數為小波函數 ，伸縮因子向量：A=[a₁,a₂,……,a_J]，平移因子向量為B=[b₁,b₂,……,b_J]；

輸出向量：Y=[y₁,y₂,……,y_k]，預期輸出向量：O=[o₁,o₂,……,o_k]，輸入層與隱含層權值、隱含層與輸出層權值為w，輸入層第i個節點和隱含層第j個節點間權值為w_i,j，隱含層第j個節點和輸出層第k個節點間權值為w_j,k；

u表示每一層神經元的輸入，v來表示經激勵函數處理后的輸出，在迭代訓練過程中，輸入為X，y_k為輸出層第k個神經元的總輸出，隱層第j個神經元及輸出層第k個神經元的輸入輸出表達式為：

網絡的前向傳遞函數為：

預期的輸出向量與經訓練后的實際輸出向量之差為誤差向量：ER=[er₁,er₂,……,er_k]，第k個神經元輸出誤差為：

輸出層所有神經元輸出誤差能量總和即全局誤差能量E為：

將得到的誤差反向傳播修正權值，依據權值的修正量與誤差能量對權值的偏微分成正比來計算各權值與平移伸縮因子的修正值，再根據Delta學習規則，設定學習步長，將修正后的各權值和因子保留進行下一次迭代，網絡中隱含層個數可依據經驗值選取；學習步長選取過大可導致收斂過程震蕩，過小則會減慢收斂速度，可通過多次嘗試進行選取；

2）粒子群優化的小波神經網絡：

粒子群優化算法是一種通過模擬鳥群覓食行為來進行協同搜索，從而在解空間中找到最優解的算法，算法過程是在狀態空間中對每一個尋優位置進行評估，最終得到最佳位置，再從最佳位置出發進行搜索，直到獲得最優目標值，將該算法用于優化小波神經網絡，可加快神經網絡訓練的收斂速度，以全局優化的方式避免小波神經網絡在訓練過程中陷入局部極小值，提高預測精度；

假設目標搜索空間為D維空間，粒子數為S個，于是第i個粒子在D維空間中的位置表示為：X_i=[x_i1,x_i2,……,x_iD];第i個粒子的當前速度為：V_i=[v_i1,v_i2,......,v_iD]；第i個粒子自身歷史最優位置為：P_i=[p_i1,p_i2,......,p_iD]；粒子群整體的最優位置為：P_g=[p_g1,p_g2,......p_gD]，其在第k次迭代中第i個粒子第d維的速度更新公式為：

其中，i=1,2,...S，d=1,2,...D，c_1、c₂為正常數的加速因子，r₁、r₂服從[0,1]上均勻分布的隨機數，w為慣性權重，w_max和w_min分別為慣性權重的最大值和慣性權重的最小值，其計算公式為：

其位置更新公式為：

用粒子群算法優化小波神經網絡，其中，令粒子個數D=60，加速因子c₁=c₂=2，w_max=0.9，w_min=0.4，以平均絕對百分誤差值作為目標函數適應度值；

3）粒子群優化的多分辨率小波神經網絡：

基于小波多分辨率分析和多尺度正交空間思想，以神經網絡為框架，再利用粒子群算法對其全局優化，構建基于粒子群優化的多分辨率分析小波神經網絡；

設J為尺度參數，其在初始狀態下值為0；輸入層有I個神經元；隱含層有n個神經元，并將Meyer尺度函數作為其激勵函數，尺度函數為，并以此構建多尺度正交空間，逼近目標函數；輸出層神經元為G個，由此可以得到當尺度參數為0時的輸出表達式為：

其中，x為輸入向量；w_i,j為輸入層第i個神經元與隱含層第j個神經元之間的連接權值；a_j為第j個隱含層神經元閾值；c_j,g為隱含層第j個神經元與輸出層第g個神經元的連接權值；

接著提升分辨率，令尺度參數J為1，增加n個隱含層神經元，輸入層有m個神經元，其激勵函數為Meyer小波函數，用來逼近目標函數中更加細微的部分，可以得到當尺度參數為1時的輸出表達式為：

其中，v_i,k為輸入層第i個神經元和隱含層第k個神經元的連接權值；b_k為隱含層神經元閾值；d_k,g為隱含層第k個神經元和輸出層第g個神經元得到連接權值；

然后進一步提升分辨率，令尺度參數J為2，加入2n個隱含層神經元，激勵函數為Meyer小波函數，輸出表達式為：

以此遞推下去，便能夠從不同分辨率逼近目標函數，并且每提高一次尺度，隱含層便會增加2^J-1n個神經元，e表示從1到J的每一個尺度參數值，直到達到最理想的逼近效果，尺度參數為J時，其對應的傳遞函數通式為：

得到多分辨率小波神經網絡的基本框架，再用粒子群算法對其權值進行優化，便得到基于粒子群優化的多分辨率分析的小波神經網絡，在多分辨率分析過程中，J的值并不是越大越好，其需要不斷進行實驗取值，從而得到一個尺度參數使訓練誤差和預測誤差皆為最小。