[發(fā)明專利]基于膠囊網(wǎng)絡(luò)的變分期望最大化路由算法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811250635.1
• 申請(qǐng)日: 2018-10-25
• 公開（公告）號(hào): CN109583563A
• 公開（公告）日: 2019-04-05
• 發(fā)明（設(shè)計(jì)）人: 徐寧;楚昕;劉小峰;繆曉宇;姚瀟;蔣愛民
• 申請(qǐng)（專利權(quán)）人: 河海大學(xué)常州校區(qū)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 丁濤

1.一種基于膠囊網(wǎng)絡(luò)的變分期望最大化路由算法，其特征在于，

把低級(jí)膠囊的pose矩陣視為GMM的數(shù)據(jù)點(diǎn)、高級(jí)膠囊的pose矩陣視為高斯分布，由VBEM路由算法將數(shù)據(jù)點(diǎn)聚類為一個(gè)個(gè)高斯分布并計(jì)算其分布參數(shù)，即在運(yùn)行時(shí)將低級(jí)膠囊分組形成一個(gè)高級(jí)別的膠囊，然后根據(jù)高斯分布參數(shù)更新計(jì)算激活值a；

S01，輸入當(dāng)前pose矩陣和激活值，將各膠囊的pose矩陣作為數(shù)據(jù)點(diǎn)X＝{x₁,x₂...x_N}，N為膠囊的個(gè)數(shù)，將pose矩陣類別作為隱變量Z＝{z₁,z₂...z_K}，k為膠囊類別，k由VBEM算法自動(dòng)確定；

S02，利用變分推斷求出各參數(shù)θ的先驗(yàn)分布的最優(yōu)解以及后驗(yàn)概率p(z|x)的最優(yōu)解q^*(z)，θ包含混合系數(shù)π＝{π₁ π₂ ... π_k}、GMM的均值μ＝{μ₁ μ₂ ... μ_k}、GMM的協(xié)方差Λ＝{Λ₁ Λ₂ ... Λ_k}；

S03，定義各變量并初始化，其中將pose矩陣元素相對(duì)應(yīng)附給高斯分布初始值μ₀，強(qiáng)制將協(xié)方差Λ設(shè)為對(duì)角陣，則方差σ²取協(xié)方差矩陣對(duì)角線；

S04，進(jìn)行VBM步，更新各變量；

S05，進(jìn)行VBE步，更新代表后驗(yàn)概率的r_nk；

S06，迭代n次或者直至迭代收斂，得到最終激活值a，以及輸出x服從的混合高斯模型的均值，轉(zhuǎn)換得出父膠囊pose矩陣。

2.根據(jù)權(quán)利要求1所述的一種基于膠囊網(wǎng)絡(luò)的變分期望最大化路由算法，其特征在于，

所述步驟S02具體包括：

數(shù)據(jù)點(diǎn)x屬于第k類的概率分布：

其中π_k為混合系數(shù)π的第k個(gè)元素，μ_k,Λ_k為μ、Λ的第k個(gè)元素；

π_k表示z_k＝1的概率，即：p(z_k＝1)＝π_k，當(dāng)z的第k個(gè)元素為1時(shí)，其他元素均為0，所以z的邊緣概率分布表示為：

將混合系數(shù)π的先驗(yàn)概率q(π)的最優(yōu)解q^*(π)看成狄利克雷分布，即：

q^*(π)＝Dir(π|α), (3)

其中α為狄利克雷系數(shù)；

令高斯分布的均值μ和協(xié)方差Λ的先驗(yàn)概率q(μ，Λ)的最優(yōu)解q^*(μ，Λ)服從獨(dú)立的高斯-Wishart分布，即：

其中m_k、β_k、ω_k、ν_k為高斯-Wishart分布參數(shù)；

根據(jù)變分推斷直接寫出后驗(yàn)概率p(z|x)的最優(yōu)解q^*(z)的對(duì)數(shù)函數(shù)：

其中：

lnρ_nz是lnq^*(z)的一個(gè)代表因子，E[*]是對(duì)*求期望，D是數(shù)據(jù)點(diǎn)x的維度；

對(duì)公式(5)兩側(cè)去指數(shù)，得到正比關(guān)系為：

要求概率是歸一化的，有：

其中：

r_nk是ρ_nk的歸一化形式，r_nk是非負(fù)的，且