[發明專利]稀疏數據過程建模方法

無效

• 申請號: 200710012776.5
• 申請日: 2007-09-10
• 公開（公告）號: CN101118610A
• 公開（公告）日: 2008-02-06
• 發明（設計）人: 關守平;尤富強
• 申請（專利權）人: 東北大學
• 主分類號: G06N3/02
• 分類號: G06N3/02;G06N3/08;G05B17/02
• 代理公司: 沈陽利泰專利代理有限公司
• 代理人: 王東煜

1、一種稀疏數據過程的建模方法，包括數據預處理、過程神經網絡建模和在線滾動學習三個步驟，其特征在于：

所述的數據處理包括偽數據的修正和稀疏數據的填充；偽數據的修正是對采樣數據中存在的偽數據進行平滑修正、處理，并對平滑后的數據進行歸一化處理；稀疏數據的填充是對稀疏數據進行擴充，彌補已知時刻的未知數據，得到適當時間間隔的密集數據；

所述的過程神經網絡建模是應用過程神經元組成雙隱層過程神經網絡模型，應用預處理數據訓練神經網絡模型，得到符合精度要求的過程神經網絡模型；過程神經元由加權，聚合和激勵三部分組成；輸入和權值是隨時間變化的函數；網絡由輸入層、過程神經元隱層、非時變一般神經元隱層和輸出層組成，采用基于離散Walsh變換的方法對網絡進行學習訓練；

x₁(t)，x₂(t)，…，x_n(t)為過程神經元輸入函數；w₁(t)，w₂(t)，…，w_n(t)為相應的權函數；K(t)為過程神經元的時間聚合基函數；f(·)為激勵函數，可取線性函數、或Sigmoid函數、或Gauss型函數；過程神經元的輸入與輸出之間的關系為：

y=f((W(t)⊕X(t))⊗K(·)-θ)---(1)]]>

這里θ為過程神經元輸出閾值，y為過程神經元的輸出值，表示某種空間聚合運算，表示某種時間過程聚合運算；這里取空間聚合運算為加權和，時間聚合運算為積分；

以過程神經元為基礎，構造一種四層結構的過程神經元網絡模型，拓撲結構為n-m-K-1，網絡輸入層有n個節點，過程神經元隱層有m個節點，非時變一般神經元隱層有K個節點，輸出層有1個節點；過程神經元隱層完成對輸入信息過程模式特征的提取和對時間的聚合運算，非時變一般神經元隱層用于提高網絡對系統輸入輸出之間復雜關系的影射能力；

過程神經網絡輸入輸出之間的關系為：

y=Σk=1Kμkg(Σj=1mvjkf(∫0TΣi=1nwij(t)xi(t))dt-θj(1))-θk(2))---(2)]]>

模型的輸入為X(t)＝(x₁(t)，x₂(t)，…，x_n(t))，模型輸出為y，[0，T]為時間采樣區間，w_ij(t)為輸入層與第1隱層的連接權函數，v_jk為第1隱層與第2隱層的連接權值，μ_k為第2隱層到輸出層的連接權值，θ_j⁽¹⁾為第1隱層第j個過程神經元的輸出閾值，θ_k⁽²⁾為第2隱層第k個過程神經元的輸出閾值，f為第1隱層的激勵函數，g為第2隱層的激勵函數；取各層的激勵函數均為Sigmoid函數，即

f(u)=g(u)=11+e-u---(3)]]>

將隨時間變化的離散采樣數據進行Walsh變換，使之直接作為神經網絡的輸入，減少中間的擬合過程，消除擬合誤差，則變換過程為：

給定Q個序列長度為2^p的學習樣本，若離散序列長度不為2^p，可通過平滑插值得到：(x_q1(t_l)，x_q2(t_l)，…，x_qn(t_l)，d_q)，其中q＝1，2，…，Q，l＝0，1，…?，N-1，N＝2^p，p是滿足插值精度要求的自然數，d_q為期望輸出；對學習樣本實施Walsh變換，得(wal(x_q1(t_l))，wal(x_q2(t_l))，…，wal(x_qn(t_l))，d_q)；

離散數據經過Walsh變換作為網絡的輸入，于是網絡的輸入輸出關系為

yq=Σk=1Kμkg(Σj=1mvjkf(Σi=1nΣl=1N-1wal(wij(tl))wal(xqi(tl))-θj(1))-θk(2))---(4)]]>

其中wal(wij(tl))=Σl=0N-1wij(l)wal(l,sN),s=1,2,...,N;]]>

wij(tl)=wij(l)=wij(t)|t=tl,]]>即第t_l時刻網絡輸入層與第1隱層的連接權函數；

網絡的誤差函數為

E=Σq=1Q(Σk=1Kμkg(Σj=1mvjkf(Σi=1nΣl=1N-1wal(wij(tl))wal(xqi(tl))-θj(1))-θk(2))-dq)2---(5)]]>

上述過程神經網絡模型應用誤差反向傳播的BP算法進行離線訓練，得到預期的網絡逼近精度；學習算法如下式：

μk=μk+α(-∂E/∂μk)vjk=vjk+β(-∂E/∂vjk)wij(l)=wij(l)+γ(-∂E/∂wij(l))θj(1)=θj(1)+η(-∂E/∂θj(1))θk(2)=θk(2)+λ(-∂E/∂θk(2))---(6)]]>

其中α，β，γ，η，λ為網絡學習速率；

所述的在線滾動學習，是在第k個采樣時刻，將預測值與采樣值相比較，若誤差超過精度要求，則對已采集數據進行處理后在線進行網絡學習，否則保持網絡模型的輸出；在k+1時刻，重復上述檢測與學習過程；