[發(fā)明專利]基于MLE和BIC的隨機點模式參數(shù)估計方法

在審

• 申請?zhí)枺?/td>: 202011526443.6
• 申請日: 2020-12-22
• 公開（公告）號: CN112464173A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計）人: 楊豪杰;劉偉峰;李建寧;錢曉琪
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06F17/18
• 分類號: G06F17/18;G06F17/17
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱亞冠

本發(fā)明公開了基于MLE和BIC的隨機點模式參數(shù)估計方法。本發(fā)明方法在基于隨機點模式模型的框架下，構(gòu)建多個復(fù)雜度不同的隨機點模式模型，將對隨機點模式模型參數(shù)的極大似然估計轉(zhuǎn)化為分別對基數(shù)分布參數(shù)和特征分布參數(shù)的極大似然估計，并且用最大期望算法求取特征分布參數(shù)的極大似然估計值，計算每個模型關(guān)于訓(xùn)練數(shù)據(jù)的Bayes信息準(zhǔn)則指標(biāo)，確定備選模型中最優(yōu)模型。本發(fā)明方法提升了模型對點模式數(shù)據(jù)的信息表達(dá)能力，使訓(xùn)練所得的最優(yōu)模型對觀測數(shù)據(jù)具有良好的擬合能力，并且保障了模型的泛化能力。本發(fā)明方法放寬了對于先驗信息的要求，減少主觀決策對于模型精度的影響。本發(fā)明方法有效提高了建模精度和降低了模型參數(shù)估計的復(fù)雜度。

技術(shù)領(lǐng)域

本發(fā)明屬于模式識別技術(shù)領(lǐng)域，具體涉及一種基于極大似然估計(MLE)和貝葉斯信息準(zhǔn)則(BIC)的隨機點模式參數(shù)估計方法。

背景技術(shù)

點模式是無序點或者特征的集合形式，在自然界中許多現(xiàn)象都可以用點模式的形式描述，而在許多數(shù)據(jù)分析問題中，點模式通常被稱為包(多示例)，用來描述對象的特征信息，針對點模式的學(xué)習(xí)問題本質(zhì)上就是多示例學(xué)習(xí)問題。多示例學(xué)習(xí)作為有別于監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)的第4種機器學(xué)習(xí)框架，發(fā)展至今，已有很多實用的多示例學(xué)習(xí)算法被提出。

目前主要的多示例學(xué)習(xí)方法大致可以分為三類：(1)基于示例空間的多示例學(xué)習(xí)算法；(2)基于包空間的多示例學(xué)習(xí)算法；(3)基于嵌入空間的多示例學(xué)習(xí)算法。基于示例空間的這類算法的核心是訓(xùn)練一個示例水平的分類器，使之能夠區(qū)分來自正負(fù)示例的包，然后對于新的包，由示例的標(biāo)簽去推斷包的標(biāo)簽；基于包空間的這類算法的核心思想是定義一個度量包之間距離的函數(shù)，然后把該距離函數(shù)嵌入標(biāo)準(zhǔn)的基于距離的分類器,由已知包的標(biāo)簽推斷未知包的標(biāo)簽；基于嵌入空間的方法的核心思想是定義一個距離映射函數(shù)或者核函數(shù)，將每個包映射為一個單一的特征向量，用來描述和對應(yīng)包相關(guān)的整體信息，這樣原始的包空間就被映射為一個向量化的嵌入空間，并在這個空間進(jìn)行分類器訓(xùn)練，把多示例問題轉(zhuǎn)化為標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)問題。一般用似然函數(shù)描述的統(tǒng)計數(shù)據(jù)模型，是基于模型的數(shù)據(jù)分析方法的必要前提。但是針對點模式數(shù)據(jù)的機器學(xué)習(xí)算法研究中，關(guān)于基于統(tǒng)計點模式模型的算法并沒有得到足夠的關(guān)注。

發(fā)明內(nèi)容

本發(fā)明的目的就是針對基于模型的點模式數(shù)據(jù)分類問題，提供一種基于極大似然估計(MLE)和貝葉斯信息準(zhǔn)則(BIC)的隨機點模式參數(shù)估計方法。

本發(fā)明方法在基于隨機點模式模型的框架下，構(gòu)建多個復(fù)雜度不同的隨機點模式模型，將對隨機點模式模型參數(shù)的極大似然估計轉(zhuǎn)化為分別對基數(shù)分布參數(shù)和特征分布參數(shù)的極大似然估計，并且用最大期望算法(EM)求取特征分布參數(shù)的極大似然估計值，進(jìn)一步計算每個模型關(guān)于訓(xùn)練數(shù)據(jù)的Bayes信息準(zhǔn)則(BIC)指標(biāo)，從而確定備選模型中最優(yōu)模型。

本發(fā)明方法具體是：

步驟(1)構(gòu)建隨機點模式模型：

其中，X_n表示第n個隨機點模式的觀測數(shù)據(jù)，n＝1,2,…,N，N為隨機點模式的觀測數(shù)據(jù)總個數(shù)；ξ表示模型的基數(shù)分布參數(shù)，表示模型的特征分布參數(shù)；p_ξ表示點模式模型的基數(shù)分布，|X_n|表示X_n中元素的個數(shù)，U為超參數(shù)，用于取消各元素間的單位不統(tǒng)一；表示點模式模型的特征分布，x表示X_n中的元素。

步驟(2)構(gòu)建觀測數(shù)據(jù)集關(guān)于點模式模型參數(shù)的似然函數(shù)：

表示觀測數(shù)據(jù)集X_1:N關(guān)于模型參數(shù)ξ和的似然函數(shù)；

模型基數(shù)分布為泊松分布，基數(shù)分布參數(shù)ξ與泊松系數(shù)ρ相等；

模型特征分布為高斯混合分布,α_k、μ_k和∑_k分別表示第k個分布元的混合權(quán)重、均值和協(xié)方差。

步驟(3)對基數(shù)分布參數(shù)進(jìn)行極大似然估計，得到基數(shù)分布參數(shù)的極大似然估計值