[發明專利]一種基于主成分分析的神經網絡預測方法

在審

• 申請號: 201910432048.2
• 申請日: 2019-05-22
• 公開（公告）號: CN110059824A
• 公開（公告）日: 2019-07-26
• 發明（設計）人: 張日東;歐丹林;吳勝;袁亦斌;高福榮
• 申請（專利權）人: 杭州電子科技大學;浙江邦業科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 吳秉中

1.一種基于主成分分析的神經網絡預測方法，包括如下步驟：

步驟1、采集過程數據和質量數據，利用主成分分析對數據進行處理；

步驟2、使用步驟1中得到的數據，建立神經網絡模型，并做預測。

2.如權利要求1所述的基于主成分分析的神經網絡預測方法，其特征在于：

所述步驟1具體如下：

1-1.定義標準化原始數據的第一主成分，形式如下：

t₁＝Xp₁＝[v₁ v₂ ... v_J]p₁且||p₁||＝1

其中，t₁是矩陣X的第一主成分，X∈R^N×J是標準化后的原始數據矩陣，N和J分別是數據樣本個數和過程數據個數，p₁是矩陣X的協方差矩陣的第一標準化特征向量，[v₁ v₂ ... v_J]分別是第一、第二、…、第J過程數據；

1-2.根據步驟1-1，求得t₁的方差，形式如下：

其中，和X^T分別是第一標準化特征向量的轉置和矩陣X的轉置，Var(t₁)是t₁的方差，使得t₁能攜帶最多的原變異信息，即要求t₁的方差取到最大值；

1-3.結合步驟1-1和步驟1-2，根據拉格朗日算法可以得到：

Vp₁＝λ₁p₁

Var(t₁)＝λ₁

其中，λ₁是協方差矩陣V的第一特征值也是最大特征值；

1-4.以此類推，并重復步驟1-1至1-3，可以得到

t_a＝Xp_a

其中，t_a是第a主成分，p_a和p_a-1是矩陣V的第a和第a-1標準化特征向量，且是矩陣V的第a標準化特征向量的轉置，λ_a是矩陣V第a特征值，Var(t₁)≥Var(t₂)≥...≥Var(t_a)，Var(t₂)和Var(t_a)分別是t₂和t_a的方差；

1-5根據預設的主成分累積貢獻率，形式如下：

其中，E_a是前a個主成分的累積貢獻率，λ_j是矩陣V第j特征值，Σ是求和符號，如果前a個主成分累積貢獻率可以達到預設值，那么前a個主成分可以以預設值的精度描述原變量；

1-6.根據步驟1-5可以得到主成分分析之后的數據集，形式如下：

其中，T是主成分的得分矩陣，P^T是主成分的負載矩陣的轉置。

3.如權利要求2所述的基于主成分分析的神經網絡預測方法，其特征在于：

步驟2具體如下：

2-1.將主成分分析之后的數據集分為訓練集和測試集，建立徑向基神經網絡預測模型，形式如下：

其中，是神經網絡的預測輸出，是訓練集，i＝1,2,...,I是隱藏層節點個數，ω_i是第i個神經元連接隱藏層和輸出層的權值，是使用高斯函數的隱藏層中的第i個神經元輸出，c_i是第i個神經元函數的中心，σ_i是第i個神經元函數的寬度，是輸入變量和中心之間的歐式距離，徑向基神經網絡的訓練需要求解并優化以下三個參數，步驟如下：

2-1-1.根據K-均值聚類算法確定c_i和σ_i兩個參數，形式如下：

其中，θ_i是第i個聚類域，n_i是第i個聚類域中所包含的樣本數，E是訓練數據到聚類中心的歐式距離，c_max是所選取中心之間的最大距離；

2-1-2.根據遞歸最小二乘法進行權值參數調節，形式如下：

其中，k為時刻，ω(k)和ω(k-1)分別是第k時刻和第k-1時刻的連接隱藏層和輸出層的權值，K(k)是第k時刻的權重矩陣，Y(k)是第k時刻的實際輸出，φ(k)和φ^T(k)是第k時刻隱藏層神經元的輸出和轉置，P(k)和P(k-1)分別是第k時刻和第k-1時刻的正定協方差矩陣，且P(0)＝αI，α是一個很大的實數，可取α＞10⁵，I是一個適當維度的單位矩陣，ω(0)＝γ，γ是足夠小的實矢量，設定為10^-3，0＜μ＜1是遺忘因子；

2-2.根據根均方誤差評估徑向基神經網絡的建模精度，形式如下：

其中，RMSE是根均方誤差，Y(X_n)是實際的輸出。

2-3.重復步驟2-1和步驟2-2，直至建模精度低于期望值，并將測試集輸入到神經網絡模型中，如果模型預測準確率未達到預定值，調整網絡結構和參數初始值，重復步驟2，直至模型預測準確率達到預定值。