[發明專利]基于優化奇異值分解生成特征集的低信息損失短期風速預測方法

有效

• 申請號: 201910050602.0
• 申請日: 2019-01-20
• 公開（公告）號: CN109886464B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 黃南天;吳銀銀;蔡國偉;張祎祺;楊冬鋒;黃大為;王文婷;包佳瑞琦;楊學航
• 申請（專利權）人: 東北電力大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/06;G06K9/62
• 代理公司: 吉林市達利專利事務所 22102
• 代理人: 陳傳林

1.一種基于優化奇異值分解生成特征集的低信息損失短期風速預測方法，其特征是，它包括以下步驟：

1)風速序列降噪處理

使用優化的變分模態分解對原始風速序列進行處理，將原始風速序列分解成若干個本征模態函數，然后，剔除幅值最小的一個本征模態函數，將其他剩余本征模態函數相加得到降噪后的風速序列，

變分模態分解對信號的處理過程包括構造和求解兩部分，涉及了三個重要概念：經典維納濾波、希爾伯特變換和頻率混合；

變分問題的構造中，變分問題是將原始信號f分解為k個模態函數U_k(t)，即本征模態函數，假設每個本征模態函數的有限帶寬具有中心頻率且是ω_k，使得每個模態的估計帶寬和最小，約束條件是：各模態函數之和等于原始信號f，

①通過Hilbert變換，得到每個模態函數U_k(t)的解析信號；

②對各模態的解析信號混合預估中心頻率ω_k，將每個模態的頻譜移動到基頻帶上；

③采用解調信號的H高斯平滑估計各模態信號的帶寬，即梯度的二范數的平方；

因此該約束變分問題為式(1)：

其中，是對t求偏導數，δ(t)為沖激函數，U_k是第k個本征模態函數；

變分問題的求解中，引入拉格朗日乘子γ(t)和二次懲罰因子α得到式(1)的增廣拉格朗日函數，

其中，γ是拉格朗日乘法算子；

利用基于對偶分解和Lagrange法的交替方向乘子方法(Alternate Direction Methodof Multipliers，ADMM)求解式(2)，對U_k，ω_k，γ進行交替迭代尋優：

其中表示U_i(ω),f(ω),γ(ω)的傅里葉變換；n表示迭代次數；

對于給定求解精度ε，滿足(6)式時停止迭代：

其中，τ是更新參數，設置為0，

變分模態分解的具體實現過程如下：

①初始化γ¹與最大迭代次數N，n＝0；

②對于每個模式U_k,根據式(3)和(4)更新得到

③根據式(5)，更新γ，n＝n+1；

④根據式(6)判斷收斂性：若不收斂且nN，則重復步驟②，否則停止迭代，得到最終模態函數U_k和中心頻率ω_k；

變分模態分解應用于風速序列分解，性能主要受分解的模態函數個數K和拉格朗日乘子更新步長τ的影響，當K偏大，模態的ω會發生聚集甚至重疊，若K偏小，導致部分模態被分到鄰近的模態上，甚至被丟棄，更新步長τ的不同會導致不同程度的殘差出現，進而影響預測精度，因此根據中心頻率觀察法確定K和最小殘差準則確定τ，首先，計算和分析在不同K值下的分解模式的中心頻率，一旦出現類似的頻率，將此時的K確定為分解的最佳K，然后根據去噪時間序列和原始序列之間的均方根誤差(RMSE)優化更新參數τ，簡化為殘差評估指標(REI)，REI計算公式為：

2)降維特征集(reducted feature set,RFS)生成

使用奇異值分解對原始特征集(original feature set,OFS)進行降維，生成的特征集可以保留原始特征集全部特征的部分信息，同時去除特征間相關性，已知訓練矩陣A_m×n,表示m個樣本，n個特征，矩陣的秩為r,對矩陣A進行奇異值分解：

其中U和V分別表示正交陣，Λ為_m×n的非負對角陣：

S₁，…S_n是矩陣A的奇異值并且有S₁S₂…S_n，奇異值越大，其包含的信息越多，因此前h個主成分所組成的特征空間對應的新的矩陣A’:

A'_m×h＝U(:,1:h)×Λ_h×h (10)

其中U(:,1:h)為U中前h列向量對應的矩陣，Λ_h×h為前h個較大奇異值對應的對角矩陣，對于風速序列的預測，h的選取影響預測精度，因此基于不同奇異值的貢獻率確定最佳奇異值個數h，得到優化奇異值分解的參數；

貢獻率D公式為：

其中S_i代表第i個奇異值對應的模型的平均絕對百分比誤差，S_j代表第j個奇異值對應的模型的平均絕對百分比誤差；

3)特征重要度計算

Gini指數是一種節點不純度的度量方式，能夠根據Gini指數作為評價指標來衡量每個特征在隨機森林中的每棵樹中預測貢獻，為降低filter特征選擇方法造成的低重要度特征的全部信息的損失，將使用特征降維方法奇異值分解得到的降維特征集與原始特征集組合，得到擴維特征集，計算該特征集中的全部特征的Gini重要度并排序，假設S是含有s個樣本的數據集，可分為n類，s_i表示第i類包含的樣本數i＝1,2,..,n，則集合S的Gini指數為：

其中，P_i＝s_i/s，代表任意樣本屬于第i類的概率，當S中只包含一類時，其Gini指數為0；當S中所有類別均勻分布時，Gini指數取最大值；隨機森林使用某特征劃分節點時，將S分為m個子集S_j，j＝1,2,…,m，則S的Gini指數為：

其中，s_j為集合S_j中樣本數，由式(13)可知，具有最小Gini_split值的特征劃分效果最好；隨機森林(random forest，RF)在進行節點劃分時，首先計算候選特征子集中每一個特征分割該節點后的Gini_split值，并用分割節點前節點的Gini指數減去該值，得到特征的“GiniImportance”，即Gini重要度；之后選擇Gini重要度最大的特征作為該節點的分割特征；在RF構建完成后，把同一特征的所有Gini重要度線性疊加并降序排列，即得到所有特征的重要度排序；

4)特征選擇

隨機森林結合了決策樹和Bagging思想的機器學習算法，通過重抽樣方法獲取多個樣本構造不同的決策樹模型，每棵決策樹分別進行預測，最后由投票得出最終預測結果，它是一個由多棵CART決策樹組成的預測器{p(x,Θ_k),d＝1,2,...,d_tree}的集合，其中x是輸入向量，{Θ_k}是獨立同分布的隨機向量，決定了單棵樹的生長過程；d_tree為決策樹數；預測器{p(x,Θ_k)}由CART算法得到的完全生長并不進行剪枝操作的分類回歸樹；隨機森林的算法步驟為：

(1)采用重抽樣方法有放回的從原始數據集中隨機抽取d組新的自助樣本集，由CART算法建立d棵回歸樹，每次未被抽到的樣本形成d組袋外數據集；

(2)從具有M個特征的原始樣本集中隨機選取mtry個特征，并在這mtry個特征中挑選分類效果最好的一個特征用于該節點的分裂；

(3)每棵樹進行完全生長，不做剪枝操作；

(4)d棵回歸樹生長完全后形成隨機森林，最后對實驗數據進行預測；

參考序列前向搜索思想，在以擴維特征集訓練隨機森林得出不同風速特征Gini重要度的前提下，開展特征前向搜索策略，首先，按照Gini特征重要度降序排序的順序，將特征依次加入到候選特征集合中；每加入一個特征，候選特征集合作為輸入向量重新訓練一個隨機森林預測器，并計算相應的平均絕對百分比誤差值；之后，重復以上過程直至所有特征都加入到候選特征集合中；最后，將平均絕對百分比誤差值最小的模型對應的子集確定最優特征子集；

5)模型驗證

使用驗證集對步驟(4)中所得到的最優子集進行驗證，證明所得最優子集在短期風速預測中的有效性。