[發明專利]應用于隨機點模式有限混合模型吉布斯參數采樣方法

在審

• 申請號: 202010105441.3
• 申請日: 2020-02-20
• 公開（公告）號: CN111369002A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 劉偉峰;王志;黃梓龍;丁禹心
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06N7/00
• 分類號: G06N7/00;G06F17/18
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

本發明涉及一種應用于隨機點模式有限混合模型吉布斯參數采樣方法。本發明方法首先構建隨機點模式有限混合模型和構建隨機點模式似然函數，然后構建隨機點模式有限混合模型參數先驗分布，根據模型參數先驗分布，得到模型參數的后驗分布；最后采用吉布斯采樣算法和貝葉斯信息準則相結合的采樣算法，估計混合分布中分布元個數以及模型參數值。本發明相較于傳統FMM僅描述了數據的特征隨機性，隨機點模式分布函數還描述了數據的基數隨機性；在RPP?FMM的基礎上采用Gibbs采樣算法采樣樣本數據獲取模型參數，避免了參數估計可能一直陷入局部極值點，不能得到全局極值點的局面。本發明方法有效提高了建模精度和參數估計精度。

技術領域

本發明屬于模式識別技術領域，具體涉及應用于隨機點模式有限混合模型的Gibbs(吉布斯)參數采樣方法。

背景技術

有限混合模型(FMM)是一種統計建模工具，提供了一種用簡單密度模擬復雜密度的有效的數學方法。有限混合模型的核心問題有兩個：混合分量密度的選擇和混合模型的參數估計。高斯混合模型憑借其形式簡單、計算方便等特點，已成為目前比較普遍應用的有限混合模型。然而我們得到的實際數據大多具有非線性、非高斯特性，并且局限于高斯分布的擬合能力，導致高斯混合模型不能完全、準確、有效地描述這些復雜數據。根據混合模型個數，分布參數的未知性可以將關于有限混合模型問題歸結為有監督學習，無監督學習和非參數模型問題。目前主流的學習算法分為確定性學習算法和非確定學習算法。確定性學習算法以期望最大化(EM)算法為代表的極大似然估計算法，非確定學習算法以Markov鏈為代表的貝葉斯(Bayes)學習算法為主。FMM的研究主要包括兩個方面：混合模型的分布元個數和相應的模型參數估計。實際獲得數據大多具有非高斯特性，通常采用高斯混合模型進行近似。有限混合模型的參數估計可以通過參數的學習算法來獲得。

值得一提的是在傳統FMM分布中均假設各個數據點之間是獨立的，因此，數據似然函數模型是所有數據點似然函數的乘積獲得，這種數據似然函數無法刻畫數據基數(數據點個數)的隨機特性，甚至在某些情況下，會產生矛盾的估計結果。

發明內容

本發明的目的就是提供一種應用于隨機點模式有限混合模型Gibbs參數采樣方法。

為了刻畫數據基數(數據點個數)的隨機特性，本發明方法引入了隨機點模式有限混合模型(RPP-FMM)。相較于傳統FMM僅描述了數據的特征隨機性，隨機點模式分布函數還描述了數據的基數隨機性。以往的相關研究中提出采用EM算法和Gibbs采樣算法解決相關問題，EM算法容易受初值影響。另外，由于EM算法屬于一種確定性的算法，對于給定的初值，參數估計可能一直陷入局部極值點，不能得到全局極值點。Gibbs采樣算法屬于隨機采樣算法，初值的影響相對較小。

本發明提出了一種基于隨機點模式有限混合模型(RPP-FMM)的Gibbs參數采樣算法，基本思想是利用構造隨機點模式的馬爾可夫鏈獲取模型參數，進一步提高建模精度和參數估計精度。

本發明方法具體是：

步驟(1).構建隨機點模式有限混合模型；

具有K個隨機源的點模式混合模型表示為：

f(X_n|Θ)＝π₁f(X_n|θ₁)+π₂f(X_n|θ₂)+…+π_Kf(X_n|θ_K)；X_n表示第n個隨機點模式觀測數據，n＝1,2,…,N，N為隨機點模式觀測數據數量，表示R的有限集空間，R為實數空間；