[發(fā)明專利]應(yīng)用于隨機點模式有限混合模型吉布斯參數(shù)采樣方法

在審

• 申請?zhí)枺?/td>: 202010105441.3
• 申請日: 2020-02-20
• 公開（公告）號: CN111369002A
• 公開（公告）日: 2020-07-03
• 發(fā)明（設(shè)計）人: 劉偉峰;王志;黃梓龍;丁禹心
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06N7/00
• 分類號: G06N7/00;G06F17/18
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊舟濤

1.應(yīng)用于隨機點模式有限混合模型吉布斯參數(shù)采樣方法，其特征在于，該方法具體是：

步驟(1).構(gòu)建隨機點模式有限混合模型；

具有K個隨機源的點模式混合模型表示為：

f(X_n|Θ)＝π₁f(X_n|θ₁)+π₂f(X_n|θ₂)+…+π_Kf(X_n|θ_K)；X_n表示第n個隨機點模式觀測數(shù)據(jù)，n＝1,2,…,N，N為隨機點模式觀測數(shù)據(jù)數(shù)量，表示R的有限集空間，R為實數(shù)空間；

點模式混合模型的參數(shù)集Θ＝{π₁,π₂,…,π_K,θ₁,θ₂,…,θ_K}∈(R₊×Θ)^K，R₊表示正實數(shù)空間；{θ₁,θ₂,…,θ_K}為隨機點模式分布函數(shù)中的參數(shù)變量,{π₁,π₂,…,π_K}為混合權(quán)重，π_k是第k分布元的混合權(quán)重，并且滿足π_k≥0，

步驟(2).構(gòu)建隨機點模式似然函數(shù)；

對于獨立的第n個隨機點模式觀測數(shù)據(jù)似然函數(shù)表示為：是相互獨立的X_n的似然函數(shù)，f(x_n|θ_k)表示X_n中的單點數(shù)據(jù)x_n的分布函數(shù)；缺失變量e_n＝{e_n,1,e_n,2,…,e_n,K}，e_n,k為缺失變量中的第k維缺失變量，k＝1,2,…,K，用來指示點模式中單點數(shù)據(jù)x_n的點模式類別；e_n與X_n組成完全數(shù)據(jù)(X_n,e_n),X_1:N表示N個隨機點模式觀測數(shù)據(jù)的集合，e_1:N表示N個缺失變量的集合；

點模式混合模型的參數(shù)后驗分布表示為：p(Θ)為參數(shù)的先驗分布，p(Θ|X)為參數(shù)的后驗分布，正則常量表示隨機點模式的似然函數(shù)；

對于得到的第n個隨機點模式觀測數(shù)據(jù)的第i個數(shù)據(jù)x_n,i，x_n,i∈X_n，定義一個K維的指示變量，每一維指示了混合分布中的一個分布元，K維的缺失變量只有一維為1，其他各維為0，表示為e_n＝[e_n,1,…,e_n,K]^T，并且滿足e_n,k∈{0,1}，其中e_n,k＝1表示數(shù)據(jù)x_n由分布元f(x_n|θ_k)產(chǎn)生；以高斯混合分布作為點模式的特征分布，相應(yīng)點模式參數(shù)集為θ_k＝{ρ_k,μ_k,Σ_k}，其中ρ_k是基數(shù),μ_k是均值,Σ_k是協(xié)方差陣；

步驟(3).構(gòu)建隨機點模式有限混合模型參數(shù)先驗分布；

在高斯混合情況下，先驗參數(shù)為根據(jù)貝葉斯公式將先驗分布p(Θ)分解：p(Θ)＝p(π_1:K)p(ρ_1:K|π_1:K)p(Σ_1:K|ρ_1:K,π_1:K,μ_1:K)p(μ_1:K|ρ_1:K,π_1:K,Σ_1:K)；采用狄利克雷分布作為分類分布的共軛先驗；

如果各分布元比例未知，采用等值狄利克雷分布：

基數(shù)l_k表示第k個隨即點模式的基數(shù)，基數(shù)的先驗分布服從泊松分布；

協(xié)方差的逆矩陣的先驗服從威希特分布W(V,β)表示關(guān)于參數(shù)V和β的威希特分布，V是一個正定矩陣，β是自由度；

均值采用高斯分布作為RPP-FMM均值的共軛先驗，是每個隨機點模式的已知均值；

步驟(4).根據(jù)模型參數(shù)先驗分布，得到模型參數(shù)的后驗分布；

后驗混合權(quán)重服從狄利克雷分布,后驗均值服從高斯分布,后驗方差服從威希特分布；

參數(shù)的后驗分布混合權(quán)重{π₁,π₂,…,π_K}滿足狄利克雷分布：

p(π₁,π₂…,π_K)＝Dir(α₁+l₁,α₂+l₂,…,α_K+l_K)；常數(shù)α_k＞0，l_k是屬于第k個隨機分布元觀測數(shù)據(jù)的個數(shù)，k＝1,2,…,K；

缺失變量{e_n,1,…,e_n,K}根據(jù)Bayes公式來估計缺失數(shù)據(jù)：

f(x_n|θ_k)表示隨機點模式觀測數(shù)據(jù)X_n中的單點數(shù)據(jù)x_n的分布函數(shù)，ρ_k表示第k個隨機點模式觀測數(shù)據(jù)的基數(shù)，表示第k個隨機點模式觀測數(shù)據(jù)每個維度上的指示變量值的和；

基數(shù)分布：

協(xié)方差Σ_k，協(xié)方差的逆矩陣服從威希特分布：其中α₀和β₀是正常數(shù),兩個調(diào)節(jié)參數(shù)M₀＞0，N₀＞0；

均值μ_k滿足參數(shù)為{ξ_k,∑_k}的高斯分布，從下式中采樣：

p(μ_k)＝N(μ_k；ξ_k,Σ_k)，ξ_k為高斯分布的均值，Σ_k為高斯分布的協(xié)方差；

步驟(5).采用吉布斯采樣算法和貝葉斯信息準(zhǔn)則相結(jié)合的采樣算法，估計混合分布中分布元個數(shù)以及模型參數(shù)值；

貝葉斯信息準(zhǔn)則定義為：BIC(m_k,Θ_k,X_k)＝-2logL(Θ_k,m_k|X_k)+M_klnn_k；其中，M_k是獨立參數(shù)的個數(shù)，logL(Θ_k,m_k|X_k)表示參數(shù)集Θ_k和元素個數(shù)m_k的對數(shù)似然函數(shù)；

M_k＝3m_k+2，

在可供選擇的模型類中，使貝葉斯信息達到最小的那個模型即為可取模型，可取模型的參數(shù)估計推導(dǎo)為：

參數(shù)m_k,Θ_k從BIC(m_k,Θ_k)的最小似然函數(shù)中獲得，得到參數(shù)集Θ_k以及分布元個數(shù)m_k；

利用參數(shù)集Θ_k和分布元個數(shù)m_k，根據(jù)吉布斯采樣算法估計出模型參數(shù)值。

2.如權(quán)利要求1所述的應(yīng)用于隨機點模式有限混合模型吉布斯參數(shù)采樣方法，其特征在于，步驟(5)中吉布斯采樣算法估計出模型參數(shù)值的具體方法是：

a.初始化從條件密度p(θ_i|θ_-i)中采樣；

b.從中采樣，得到依次類推，從中采樣得到

c.實現(xiàn)從到的跳變；

d.重復(fù)a-c，得到一條馬爾可夫鏈；

馬爾可夫鏈中的穩(wěn)定點即是分布中的極值點，作為最終的模型參數(shù)估計值。