[發(fā)明專利]一種多極限學(xué)習(xí)機(jī)模型構(gòu)建方法、裝置及計算機(jī)設(shè)備

在審

• 申請?zhí)枺?/td>: 202010929560.0
• 申請日: 2020-09-07
• 公開（公告）號: CN112070157A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計）人: 李意芬;陳治亞;汪運
• 申請（專利權(quán)）人: 中南大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/18;G06F17/16;G06N20/00
• 代理公司: 長沙軒榮專利代理有限公司 43235
• 代理人: 齊超

涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及基于無限混合高斯分布的多極限學(xué)習(xí)機(jī)模型的構(gòu)建方法、裝置及計算機(jī)設(shè)備。本發(fā)明通過建立多極限學(xué)習(xí)機(jī)模型(MELM)，使用無限混合高斯分布(IMoG)來擬合模型MELM的回歸誤差，采用稀疏貝葉斯學(xué)習(xí)方法來優(yōu)化模型MELM中的輸出權(quán)重和模型權(quán)重，同時采用變分貝葉斯的方法對模型中所有參數(shù)進(jìn)行優(yōu)化，獲得一個緊致的預(yù)測模型，預(yù)測效果良好，不僅具有超強(qiáng)的魯棒性能，可以避免預(yù)先確定MoG中單個高斯分布的數(shù)量，并且在給定模型參數(shù)初始值的情況下可以自動獲得模型中所有參數(shù)的概率分布。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種多極限學(xué)習(xí)機(jī)模型構(gòu)建方法、裝置及計算機(jī)設(shè)備。

背景技術(shù)

在大數(shù)據(jù)時代，數(shù)據(jù)量越來越龐大，對研究對象的大規(guī)模信息獲取相對也變的更容易，同時數(shù)據(jù)采集過程中的人為或儀器設(shè)備等因素，數(shù)據(jù)難免會存在一些異常點，這些點對所要建立的模型的性能會產(chǎn)生極大的影響，因此有必要開發(fā)對異常點有一定魯棒性的回歸模型。

現(xiàn)有技術(shù)中通常采用兩種方法處理帶異常點的回歸問題：數(shù)據(jù)預(yù)處理方法和魯棒回歸模型。數(shù)據(jù)預(yù)處理方法有兩類：基于異常點檢測的數(shù)據(jù)處理方法的和信號處理方法。前者僅僅對異常點進(jìn)行處理，通常采用統(tǒng)計、基于距離、基于密度的模型和軟計算技術(shù)來檢測異常點，再將這些點從訓(xùn)練數(shù)據(jù)中刪除；后者通常使用信號處理方法(例如小波變換)對原始的數(shù)據(jù)中所有的樣本點進(jìn)行預(yù)處理，以減少異常點或未知噪聲的不利影響。魯棒回歸模型通過設(shè)計魯棒損失函數(shù)的原則是使損失函數(shù)的值不會隨著誤差的增加而改變太多，常見的策略是將權(quán)重添加到不同的樣本中，如Hurbe，Hampel，Logistic和Myriad加權(quán)函數(shù)，進(jìn)而得出加權(quán)的損失函數(shù)，如基于lncosh損失函數(shù)開發(fā)了魯棒的支持向量機(jī)、基于最小絕對偏差損失函數(shù)的魯棒最小二乘支持向量機(jī)。

上述對異常點或者未知噪聲更魯棒的回歸模型雖然能夠較為精確的預(yù)測結(jié)果，但是數(shù)據(jù)預(yù)處理方法無法確定是否檢測到所有的異常點并對其進(jìn)行了預(yù)處理，采用損失函數(shù)一方面難于優(yōu)化，另一方面無法對真實的復(fù)雜的誤差分布進(jìn)行全面刻畫。

發(fā)明內(nèi)容

基于此，本發(fā)明針對上述的問題，提供了一種多極限學(xué)習(xí)機(jī)模型構(gòu)建方法，旨在解決現(xiàn)有異常點檢測回歸模型難于優(yōu)化，無法對真實的復(fù)雜的誤差分布進(jìn)行全面刻畫的技術(shù)問題。

本發(fā)明提供了一種多極限學(xué)習(xí)機(jī)模型構(gòu)建方法，具體包括：

獲取多個含有不同隱含層節(jié)點數(shù)的單極限學(xué)習(xí)機(jī)模型，并賦予所述單極限學(xué)習(xí)機(jī)模型權(quán)重值，構(gòu)建多極限學(xué)習(xí)機(jī)模型；所述多極限學(xué)習(xí)機(jī)模型包括輸出值向量，模型權(quán)值向量和誤差項；

在貝葉斯框架下，根據(jù)截棍構(gòu)建理論構(gòu)建所述誤差項的分布權(quán)重，獲取誤差項無限混合高斯分布；

獲取用戶給定的輸出權(quán)值向量和模型權(quán)值向量，獲得所述輸出權(quán)值向量和模型權(quán)值向量的稀疏先驗分布；

根據(jù)所述誤差項混合高斯分布、輸出權(quán)值向量和模型權(quán)值向量的稀疏先驗分布獲得數(shù)據(jù)和所述多極限學(xué)習(xí)機(jī)模型中參數(shù)集合的聯(lián)合概率；以及

將所述聯(lián)合概率中的參數(shù)采用變分貝葉斯方法推斷，獲得所述多極限學(xué)習(xí)機(jī)模型參數(shù)的后驗分布。

更進(jìn)一步地，所述在貝葉斯框架下，根據(jù)截棍構(gòu)建理論構(gòu)建所述誤差項的分布權(quán)重，獲取誤差項無限混合高斯分布具體包括：

在貝葉斯框架下，引入指標(biāo)變量z_ik，誤差項的混合高斯分布可表示為：