[發明專利]一種基于變分貝葉斯的自適應高斯混合縮減方法

在審

• 申請號: 202011409115.8
• 申請日: 2020-12-05
• 公開（公告）號: CN112508087A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 李天成;唐欣怡;楊峰;鄭麗濤
• 申請（專利權）人: 西北工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 金鳳

1.一種基于變分貝葉斯的自適應高斯混合縮減方法，其特征在于，包括以下步驟：

步驟1：自適應權重剪枝；

將所有高斯分量對應的權重進行升序排列：

ω⁽¹⁾≤...ω^(j)...≤ω^(N) (1)

其中ω^(j)指從小到大排序中第j個權重，權重總數量有N個；

定義γ_n為保留的分量的權重和與所有原始分量權重總和的比值：

刪除權重從小到大排序中前n個權重對應的分量：定義n_max是可取的n的最大值：

n_max＝max(arg(γ_n≥ρ)) (3)

其中，ρ為閾值，能夠根據3σ規則確定；

最終計算經過剪枝剩余的高斯分量數M：

M＝min(N-n_max+1,N_u) (4)

其中N_u是給定的高斯分量數量上界；

步驟2：基于高斯混合模型的聚類；

步驟2-1：使用k-means對高斯分量進行初始聚類；

步驟2-2：建立高斯混合模型；

每個GMM由K個高斯分布組成，每個高斯分布為一個高斯分量，所有高斯分量線性加成在一起組成GMM的概率密度函數：

其中為高斯混合模型中的第k個高斯概率密度,x是變量，μ_k，∑_k分別是第k個高斯分量對應的期望和協方差，π_k是混合系數，系數π_k為第k個高斯分量被選中的概率，且

步驟2-3：使用EM進行GMM聚類；

假設觀測數據x₁,x₂,...,x_N由高斯混合模型生成；

步驟2-3-1：初始化均值μ_k、協方差∑_k和混合系數π_k；

步驟2-3-2：E步：

γ(i,k)被視為觀測到變量x_i后，對應的后驗概率；

步驟2-3-3：M步：使用當前γ(i,k)計算新一輪迭代的參數；

其中

步驟2-3-4：計算對數似然函數

其中，X是觀測變量的矩陣，μ、∑和π分別是觀測變量對應的均值、協方差和混合系數矩陣；x_i,μ_k，∑_k分別是第i個觀測變量、第k個觀測變量的期望和協方差矩陣；

重復迭代步驟2-3-2和步驟2-3-3，直到式(9)對數似然函數收斂為止，即得到高斯分量聚類結果；

步驟2-4：使用VBEM進行GMM聚類；

假設觀測數據x₁,x₂,...,x_N對應的潛在變量為z_nk；

步驟2-4-1：觀測數據的條件概率為：

其中，Z和Λ分別是觀測變量對應的潛在變量和時精度矩陣；x_n,μ_k,z_nk分別是第n個觀測變量、第k個觀測變量的期望、時精度矩陣的逆矩陣和第n個觀測變量的第k個潛在變量；

引入參數μ,Λ,π上的先驗概率分布，使用共軛先驗分布，得到：

其中C(α₀)是狄利克雷分布的歸一化常數，參數α₀是與混合分布的每個分量關聯的觀測的有效先驗數量；

當μ,Λ均未知時，共軛先驗分布為：

其中，m₀是期望先驗均值的初始值，β₀是對這一先驗的信任程度的初始值，W₀是協方差的先驗均值的初始值，υ₀代表了對這一先驗的信任程度的初始值；

根據VBEM原理，定義變分分布q(Z，π，μ，Λ)，在潛在變量和參數之間進行分解：

q(Z,π,μ,Λ)＝q(Z)q(π,μ,Λ) (13)

步驟2-4-2：VBE步：

考慮因子q(Z)的更新方程推導，得到最優因子的對數為：

其中q^*(Z)是最優的因子；指括號內變量關于π取期望；指括號內變量關于μ,Λ取期望；const代表常數；

替換右側兩個條件分布，把與Z無關的項整合到可加性常數中：

其中：

D是數據變量x的維度，表示對括號內變量取期望；

根據Wishart分布和狄利克雷分布的標準性質，對ρ_nk進行歸一化，同時引入的定義，得到：

其中，ν_k＝ν₀+N_k，β_k＝β₀+N_k，ψ(·)是Digamma函數，是期望的先驗均值，β_k代表了對這一先驗的信任程度，W_k是協方差的先驗均值，υ_k代表了對這一先驗的信任程度；公式(17)和(18)是從Wishart分布和狄利克雷分布的標準性質中得到的，α_k是將最優因子q^*(π)看成狄利克雷分布得到的參數；

最終得到：

步驟2-4-3：VBM步：

使用平均場理論，得到：

式(20)進一步分解為：

分離出與π相關的項：

兩側取指數，將q^*(π)看成狄利克雷分布：

Inq^*(π)＝Dir(π|α) (23)

其中，α_k是α的第k個元素，α_k＝α₀+N_k，

通過(20)式得到μ_k,Λ_k；

步驟2-4-4：重復迭代步驟2-4-2和步驟2-4-3兩步，直到(24)式中的變分后驗概率收斂，即得到所需的高斯分量聚類結果；

步驟3：使用SMM算法合并同一類的高斯分量；

假設此時有兩個高斯分量，服從的分布及參數分別為N(x₁；μ₁,P₁)及N(x₂；μ₂,P₂)，對應的權重分別為ω₁和ω₂；其中，x₁、x₂分別為兩個將要合并的觀測變量，并且觀測變量都服從高斯分布；μ₁、μ₂分別為兩個高斯分量對應的期望；P₁、P₂分別為兩個高斯分量對應的方差；

則這兩個高斯分量組合成的高斯混合密度函數為：將這兩個高斯分量進行合并，合并后高斯混合密度函數的期望和方差的計算公式為：

P＝ω₁P₁+ω₂P₂+△(ω₁,ω₂) (27)

μ＝ω₁μ₁+ω₂μ₂ (28)

其中：