[發明專利]一種流形學習在故障診斷數據提取中的應用

在審

• 申請號: 201710607305.2
• 申請日: 2017-07-24
• 公開（公告）號: CN107527064A
• 公開（公告）日: 2017-12-29
• 發明（設計）人: 何俊;孫國璽;胡勤;葉博仁
• 申請（專利權）人: 廣東石油化工學院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/13;G06F17/16
• 代理公司: 重慶信航知識產權代理有限公司50218
• 代理人: 穆祥維

1.一種流形學習在故障診斷數據提取中的應用，其特征在于：該流形學習在故障診斷數據提取中的應用具體步驟如下：

S1：L1范數是指向量中各個元素絕對值之和，也有個美稱叫“稀疏規則算子”(Lasso regularization)，雖然L0范數同樣可以用于實現稀疏化，提高模型的特征選取能力和可解釋性，但是與L0范數相比，L1范數更容易進行優化求解，L1最小化的形式為

argmin f(W)+λ||W||₁；

S2：局部線性嵌入LLE，

LLE通過數據重構，獲取局部權重矩陣，通過權重矩陣將數據點映射到低維空間當中，保留了數據原有的幾何拓撲結構，作為流形學習的經典算法，LLE被廣泛應用在多個領域當中，具體步驟如下：

X是一組高維數據集，令X＝[x₁,x₂,……,x_N]，X∈R^D×N，而低維嵌入坐標為Y,Y＝[y₁,y₂,……,y_N]，Y∈R^d×N，D為高維數據維數，d為低維嵌入空間維數，N為采集樣本數量，k為樣本的近鄰點數量，W為X的重構權重矩陣，W＝[W₁,W₂,……,W_N]，W∈R^d×k，

1)計算出高維數據集中點與點之間的相似性，篩選出與點x_i(i＝1,2,……,N)相似程度最高的一組點并將其記為近鄰點，一般情況下，都使用歐氏距離作為測量的標準，而距離空間中計算兩點之間的相似性可以用一下形式來進行表示

H_ij＝K_ii-2K_ij+K_jj

而

Kij=φ(Xi)·φ(Xj)=Σα=1Hφ(Xαi)φ(Xαj)]]>

滿足Mercer定理，若φ(X_i)＝X_i，K_ij＝X_i·X_j，那么就能證明該距離空間是線性空間，或者可以高維數據集X轉換到相對空間之中，然后在相對空間計算相似性，選出近鄰點；

2)計算樣本點局部重建權重矩陣，令W_i＝(ω_i1,ω_i2,……,ω_ik)，

argmin12||xi-Σj=1kωijxij||22=12||XiWi-xi||22]]>

s.t e^TW_i＝1

e＝[1,1,…,1]^T∈R^k*1，

引入拉格朗日乘子λ

argmin12||XiWi-xi||22-λ(eTWi-1)]]>

對上式求偏導，并將結果設為0以獲得函數的極值點

X'_i(x_i-X'_iW_i)+λe＝0

令求出P_i＝(X_i-x_i)^T(X_i-x_i)帶入函數，計算最優解

Wi=Pi-1eeTPi-1e]]>

若k遠小于D，P_i有唯一解，權重值W_i穩定，若k大于D，則權重值容易受到干擾，對P_i添加正則項，

Pi=Pi+Δ2ktr(Pi)I]]>

I是恒等矩陣，tr(P_i)是P_i的跡，Δ是一個小于1的常數，

3)譜嵌入法計算出X的低維坐標Y，根據從2)中所得的權重值定義代價函數

Y=Σi=1N||yi-Σj=1kωijYij||22]]>

s.t1NYTY=I]]>

Y^Te＝0

根據矩陣論原理，2)可以轉化成

Y＝argmintr(YMY^T)

通過代價函數求出矩陣M＝(I-W)'(I-W)，對矩陣M進行特征分解，取出特征向量矩陣底部的d+1個向量，然后去除最小特征值所對應的特征向量；

S3：改進的基于TNIPM的局部線性嵌入，

通過使用TNIPM對局部權重矩陣進行迭代重構，在求出各點的鄰域點集后，通過稀疏正則化給步驟2中添加一個懲罰項

min||XiWi-xi||22+λ1||Wi||1]]>

s.t.e^TW_i＝1

使用拉格朗日乘數法對以上公式進行約束之后，設置新變量z，并使z＝X_iW_i-x_i，則凸函數為

min||XiWi-xi||22+λ1||Wi||1+λ2(eTWi-1)]]>

s.t.z＝X_iW_i-x_i

設V_ij是滿足z_j＝(X_iW_i-x_i)_j的對偶變量，將其與上步中的約束條件結合，并帶入到函數當中，獲得相應的拉格朗日函數

L(W_i,z,V_i)＝z^Tz+λ₁||W_i||₁+λ₂(e^TW_i-1)+V_i^T(X_iW_i-x_i-z)

即

maxViminWi,zzTz+λ1||Wi||1+λ2(eTWi-1)+ViT(XiWi-xi-z)]]>

對上步進行偏微分處理，獲得一階必要條件

2z-V_i＝0

|(XiTVi)j|≤(λ1+λ2)j]]>

該條件在j≤k的情況下成立，

令G(V_i)＝-0.25V_i^TV_i-V_i^Tx_i，則對偶函數為

max G(V_i)＝-0.25V_i^TV_i-V_i^Tx_i

s.t.|(XiTVi)j|≤(λ1+λ2)j]]>

通過對偶函數解得對偶變量的次優解

V_i＝2s(X_iW_i-x_i)

s=min{(λ1+λ2)/|(XiTVi)j|}=min{(λ1+λ2)/|2(XiTXiWi)j-2XiTxi|}]]>

求得對偶間隙η為

η=||XiWi-xi||22+λ1||Wi||1+λ2(eTWi-1)-G(Vi)]]>

記ε為容錯率，則當ε滿足條件

ϵ≥ηG(Vi)]]>

時，迭代停止，將上步轉換成凸二次規劃

min||WiXi-xi||22+Σj=1kλ1uij+λ2(eTWi-1)]]>

s.t.-u_ij≤ω_ij≤u_ij

根據不等式條件設計一個示性函數I_(u_i)

I_(ui)=0ui≤0∞ui>0]]>

但該示性函數在一般情況下不可微，無法使用牛頓法，所以對示性函數進行變換，求出一個近似示性的函數，則

I_(u_i)＝-(1/t)ln(-u_i)

已知目標函數不等式條件為-u_ij≤ω_ij≤u_ij，對該條件使用對數障礙法以獲取相對應的對數障礙函數

Φ(Wi,ui)=-(1/t)Σj=1kln(-(-uij-ωij))-(1/t)Σj=1kln(-(ωij-uij))=-(1/t)Σj=1kln(uij+ωij)-(1/t)Σj=1kln(uij-ωij)]]>

其中t＞0，且t是一個近似于精度的系數，設s_min為s的最小值，s_min∈(0,1]，μ為常數系數，μ＞1，t的更新如下

t=max{μmin{2kη,t},t}s≥smints<smin]]>

將對數障礙函數作為約束條件代入到目標函數當中

Ft(Wi,ui)=t||WiXi-xi||22+tΣj=1kλ1uij-Σj=1kln(uij+ωij)-Σj=1kln(uij-ωij)+λ2(eTWi-1)]]>

對目標函數進行偏微分處理，獲得對應的一階必要條件和二階必要條件，一階必要條件

g1=▿Wi=2tXiT(XiWi-xi)+tλ2e-2ωi1(ui12-ωi12)...2ωik(uik2-ωik2)]]>

g2=▿ui=tλ1e-2ui1(ui12-ωi12)...2uik(uik2-ωik2)]]>

二階必要條件為

H=t▿2||XiWi-xi||22+▿2Φ(Wi,ui)=2tXiTXi+D1D2D2D1]]>

D1=diag2(ui12+ωi12)(ui12-ωi12)2...2(uik2+ωik2)(uik2-ωik2)2]]>

D2=diag-4ui1ωi1(ui12-ωi12)2...-4uikωik(uik2-ωik2)2]]>

記ΔW_i、Δu_i分別為的W_i、Δu_i方向向量，則所求解的牛頓方程為

HΔWiΔui=-g=-g1g2]]>

使用SSOR方法對矩陣H進行分裂，

H＝C-LU-LU^T

LU為嚴格下三角矩陣，C是對角矩陣，設

L=(C-δlu)C-12δ(2-δ)0≤δ≤2]]>

則與處理矩陣為

P=LTL=(C-δlu)C-1(C-δlu)Tδ(2-δ)0≤δ≤2]]>

δ一般為1，則將預處理矩陣帶入上步中

PHΔf＝-Pg

令p＝PH，c＝-Pg

pΔf＝c

迭代出W_i和u_i的大小，將所得的W_i、u_i再次進行迭代，直至滿足條件或達到最大迭代次數，迭代完成后將權重W_i輸出，構造權重矩陣W，然后再對權重重構矩陣W進行譜嵌入處理。