[發明專利]基于膠囊網絡的變分期望最大化路由算法

在審

• 申請號: 201811250635.1
• 申請日: 2018-10-25
• 公開（公告）號: CN109583563A
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 徐寧;楚昕;劉小峰;繆曉宇;姚瀟;蔣愛民
• 申請（專利權）人: 河海大學常州校區
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 丁濤

本發明公開了一種基于膠囊網絡的變分期望最大化路由算法，把低級膠囊的pose矩陣視為GMM的數據點、高級膠囊的pose矩陣視為高斯分布，由VBEM路由算法將數據點聚類為一個個高斯分布并計算其分布參數，即在運行時將低級膠囊分組形成一個高級別的膠囊，然后根據高斯分布參數更新計算激活值a。本發明在膠囊網絡中使用VBEM算法，與EM算法相比，這種方法幾乎不需要額外的計算量，并且它解決了最大似然方法中的計算難題，基于變分推斷對每個分解因子進行最優化來完成整體的最優化過程，既可以得到近似解，又可以避免當高斯分量“退化”到一個具體的數據點時產生的奇異性，也使得隱變量類別數k可以自動在算法中確定，并且在k較大的時候也避免了過擬合。

技術領域

本發明涉及變分推斷以及貝葉斯領域，具體涉及一種基于膠囊網絡的變分期望最大化路由算法，用作將低級膠囊聚類為高級膠囊。

背景技術

膠囊網絡是一種新神經網絡模型，膠囊是一個空間概念，可以是向量，也可以是矩陣加標量，膠囊的具體形式可以根據輸入數據的特征確定，膠囊網絡在手寫數字識別領域只需要3層隱含層就可以達到深度神經網絡的效果，甚至更好。

期望最大化(EM)算法是尋找具有潛在變量的概率模型的最大似然解的一種通用的方法，高斯混合模型(GMM)是指多個高斯分布函數的線性組合，廣泛應用于數據挖掘、機器學習和統計分析中。在許多應用中，參數由最大似然方法確定，通常會使用EM算法。然而，最大似然方法有一些巨大的局限性，需要計算完整數據對數似然函數關于潛在變量后驗概率分布的期望。對于實際應用中的許多模型來說，計算后驗概率分布或者計算關于這個后驗概率分布的期望是不可行的，并且在最大似然方法中，當一個高斯分量“退化”到一個具體的數據點時，會產生奇異性，而這種奇異性在貝葉斯方法中不存在。

變分推斷的方法基于的是真實后驗概率分布的分解近似，對每個分解因子進行最優化來完成整體的最優化過程，使用變分貝葉斯的方法，既可以得到近似解，又可以避免當高斯分量“退化”到一個具體的數據點時產生的奇異性，本發明在膠囊網絡中使用VBEM算法，與EM算法相比，這種方法幾乎不需要額外的計算量，并且它解決了最大似然方法中的主要困難，也使得隱變量類別數k可以自動在算法中確定，并且在k較大的時候也避免了過擬合。VBEM算法是一個兩階段的迭代優化算法，通常分為VBE、VBM步，VBE步根據當前參數計算后驗分布，VBM步根據最優解形式更新參數，直至收斂。

發明內容

為解決現有膠囊網絡中路由算法解決部分實際問題的不可計算問題，本發明公開了一種基于膠囊網絡的變分期望最大化路由算法，變分期望最大化路由算法目的在于將膠囊分組形成一個部分與整體的關系：把低級膠囊的pose矩陣視為GMM的數據點、高級膠囊的pose矩陣視為高斯分布，由VBEM路由算法將數據點聚類為一個個高斯分布并計算其分布參數，即在運行時將低級膠囊分組形成一個高級別的膠囊，然后根據高斯分布參數更新計算激活值a。

技術方案：為實現上述目的，本發明采用的技術方案為：

基于膠囊網絡的變分期望最大化路由算法，在膠囊網絡層中使用VBEM路由算法計算膠囊的輸出姿態矩陣和激活值。VBEM路由算法用具有16個μ和16個σ的高斯模型對父膠囊的姿態矩陣建模，每個μ表示姿態矩陣的一個元素，σ用于激活值a的計算，在VBEM路由算法的兩個階段中不斷迭代直至收斂，計算出父膠囊的輸入pose矩陣和激活值a；

S01，輸入當前pose矩陣和激活值，將各膠囊的pose矩陣作為數據點X＝{x₁,x₂...x_N}，N為膠囊的個數，將pose矩陣類別作為隱變量Z＝{z₁,z₂...z_K}，k為膠囊類別，k由VBEM算法自動確定；