[發明專利]超低秩張量數據填充方法

在審

• 申請號: 201710442277.3
• 申請日: 2017-06-13
• 公開（公告）號: CN107292337A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 魏巍;張艷寧;張磊;王聰
• 申請（專利權）人: 西北工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T5/00;G06F17/16
• 代理公司: 西北工業大學專利中心61204
• 代理人: 王鮮凱

1.一種超低秩張量數據填充方法，其特征在于包括以下步驟：

步驟一、構建張量填充模型；

對于一個K階隱張量在噪聲的影響下，得到部分觀測量Y_Ω，Ω表示觀測量的索引，則觀測模型表示為：

Y_Ω＝L_Ω+M_Ω(1)

其中，Y_Ω＝{y_i}_i∈Ω為觀測量，y_i表示Y_Ω中索引為i的原子，M_Ω為噪聲數據；為了同時描述低秩和非低秩結構，隱張量L被分解為一個低秩結構X和一個非低秩結構E，其中E近似滿秩；

L＝X+E(2)

根據公式(1)的觀測模型，假定Y_Ω中每一個原子是獨立同分布的，M_Ω是精度為τ₀的高斯白噪聲；因此，Y_Ω的似然函數為：

p(YΩ|X,E)=ΠiN(yi|xi+ei,τ0-1)oi---(3)]]>

其中，o為指示張量，如果i∈Ω，那么o_i＝1；x_i和e_i分別為X和E中的第i項元素；

步驟二、超低秩張量表示；

1)低秩結構張量表示；

通過充分挖掘CP分解權值的稀疏性從而自動地確定低秩成分X的秩；在傳統的CP分解中，X被分解為R個秩為1的張量：

其中，是因子向量，其中k＝1,…,K，表示外積；λ＝[λ₁,…,λ_R]^T為權值向量，表示第k個因子矩陣；

(a)基于稀疏性的低秩模型；

當給定較大的初始化秩，對張量X進行CP分解，在所有的CP分解中存在最稀疏的權值向量λ，滿足rank(X)＝||λ||₀；通過探索λ的稀疏性，張量秩能夠自動地被檢測；采用級聯的重加權拉普拉斯先驗描述λ的稀疏性：

λ～Ν(λ|0，diag(γ))(5)

γ~Πγ=1RGa(γr|1,kr/2)---(6)]]>

其中，λ服從零均值高斯分布，γ＝[γ₁，…，γ_R]^T服從伽馬分布，γ_r及k_r分別為γ和k＝[k₁，…，k_R]^T的第r項；上述級聯的重加權拉普拉斯先驗等價于：

p(λ|K)∝exp(-||Kλ||₁)(7)

其中，每次λ中的權值被縮減不同的尺度k_r與貝葉斯推理中的權值成反比；因此，λ中較大的權值被縮小的幅度更少；

(b)正則化因子矩陣；

為了避免CP分解中的過擬合問題，假定因子矩陣U^(k)中的每一項服從高斯獨立同分布：

uik(k)~N(uik(k)|μ(k),τ(k)-1)---(8)]]>

對于每一個U^(k)采用一個單獨的高斯分布去獲得其特征；為了完善貝葉斯模型，進一步在高斯分布中引進共軛先驗參數，其均值μ^(k)和方差σ^(k)服從高斯伽馬分布為，模型參數為μ₀、β₀、a₀和b₀：

μ^(k),τ^(k)～Ν(μ^(k)|μ₀,(β₀τ^(k))^-1)Ga(τ^(k)|a₀,b₀) (9)

2)非低秩結構混合高斯模型表示；

使用混合高斯模型表示復雜的非低秩結構E，假設每個e_i服從混合高斯分布，其中包括D個高斯成分：

ei~Σd=1ρπdN(ei|μd,τd-1)---(10)]]>

其中，π_d≥0為混合比例，并且表示第d個高斯成分，其均值為μ_d，精確度為τ_d；引進D個指示變量公式(10)被表示為一個2階生成模型：

ei~Πd=1DN(ei|μd,τd-1)zid,zi~Multinomial(zi|π)---(11)]]>

其中，滿足一個多項式分布，參數π＝(π₁,…,π_D)；為了模擬E的復雜性，提出μ_d、τ_d和π的共軛先驗，π服從狄利克雷分布Dir(π|α₀)，參數α₀＝(α₀₁,…,α_0D)；

μ_d,τ_d～N(μ_d|μ₀,(β₀τ_d)^-1)Ga(τ_d|a₀,b₀),π～Dir(π|α₀)(12)

步驟三、模型優化求解；

采用貝葉斯最小化均方誤差估計作為張量填充的優化框架；

L^=argminL~∫||L~-L||F2p(L|YΩ)dL=E[L|YΩ]---(13)]]>

其中，為最終優化得到的隱張量，為引入的優化變量，||A||_F表示張量A的F范數，p(L|Y_Ω)為L基于觀測量Y_Ω的后驗概率分布；L的貝葉斯最小均方誤差等價于其后驗分布的均值E[L|Y_Ω]；但是期望E[L|Y_Ω]的計算十分困難；為了解決這個問題，不直接對L進行建模，利用Gibbs采樣獲得非低秩結構E和基于CP分解的低秩結構X的樣本均值，來近似具體來說，首先，基于公式(3)、(5)、(8)、(9)、(11)和(12)獲得所有未知變量的后驗概率分布：

p(λ,U,Z,π,μ,τ,μ_e,τ_e|Y_Ω)(14)

其中，U＝{U^(k)}、Z＝{z_i}、μ＝{μ^(k)}、τ＝{τ^(k)}、μ_e＝{μ_d}和τ_e＝{τ_d}；然后，使用Gibbs采樣方法對每一個樣本進行采樣；具體如下：

(c)對低秩結構進行采樣；該結構的表示模型包括參數λ、γ、k和U；λ中的每個權值λ_r服從高斯分布：

λr~N(μ~λr,τ~λr-1),τ~λr=γr-1+τ0Σioib~ir2,μ~λr=τλr-1τ0Σioib~iry~ir---(15)]]> 2

其中，γ_r和k_r分別服從廣義逆高斯分布和伽馬分布；

γr~GIG(γr|kr,λr2,1/2),kr~Ga(kr|2,γr/2)---(16)]]>

對于第k個因子矩陣U^(k)，每項服從高斯分布；

uir(k)~N(μ~uir(k),τ~uir(k)-1),τ~uir(k)=Σi:ik=iτ0oic~irk2+τ(k),μ~uir(k)=τuir(k)-1(Σi:ik=iτ0oiy~irc~irk+τ(k)μ(k))---(17)]]>

其中，另外，均值μ^(k)服從高斯分布：

μ(k)~N(μ~μ(k),τ~μ(k)-1),τ~μ(k)=τ(k)(β0+nkR),μ~μ(k)=τμ(k)-1τ(k)(Σi=1,r=1nk,Ruir(k)+β0μ0)---(18)]]>

準確率τ^(k)服從伽馬分布：

τ(k)~Ga(a~(k),b~(k)),a~(k)=a0+(nkR+1)/2b~(k)=b0+[Σi=1,r=1nk,R(uir(k)-μ(k))2+β0(μ(k)-μ0)2]/2---(19)]]>

(d)對非低秩結構進行采樣；該結構的表示模型包括參數E、μ_e、τ_e、Z和π；

E中的每項e_i服從高斯分布：

ei~N(μ~ei,τ~ei-1),τ~ei=oiτ0+Σd=1Dτdzid,μ~ei=τ~ei-1[τ0oi(yi-xi)+Σd=1Dτdzidμd]---(20)]]>

對于公式(11)混合高斯模型中的第d個高斯成分，其均值μ_d服從高斯分布：

μd~N(μ~μd,τ~μd-1),τ~μd=τd(Σizid+β0),μ~μd=τμd-1τd(Σizidei+β0μ0)---(21)]]>

準確率τ_d服從伽馬分布：

τd~Ga(a~d,b~d),a~d=a0+(Σizid+1)/2,b~d=b0+[Σizidei+β0(μd-μ0)2]/2---(22)]]>

變量z_i服從多項式分布，參數混合比例π服從參數

zi~Multinomial(zi|π~),π~d=[πdN(ei|μd,τd-1)]/[Σt=1DπtN(ei|μt,τt-1)],π~Dir(π|α~)---(23).]]> 4