[發(fā)明專利]一種改進(jìn)型貝葉斯自適應(yīng)共振分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011156535.X
• 申請(qǐng)日: 2020-10-26
• 公開(kāi)（公告）號(hào): CN112257790A
• 公開(kāi)（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: 楊順昆;李紅曼;郭呈;樊瓏;茍曉冬
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京慕達(dá)星云知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 符繼超

本發(fā)明公開(kāi)了一種改進(jìn)型貝葉斯自適應(yīng)共振分類方法，包括以下步驟：構(gòu)建RQ?BR?BAM模型，引入有理二次核函數(shù)和貝葉斯正則化的過(guò)擬合抑制機(jī)制對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，并設(shè)定試驗(yàn)參數(shù)及RQ?BR?BAM模型參數(shù)；通過(guò)步驟2中預(yù)處理后的數(shù)據(jù)，對(duì)RQ?BR?BAM模型進(jìn)行訓(xùn)練；通過(guò)訓(xùn)練完成后的模型進(jìn)行分類實(shí)驗(yàn)并對(duì)比模型的推斷準(zhǔn)確率。通過(guò)引入兩種類型的過(guò)擬合抑制機(jī)制提高了模型的泛化能力；引入有理二次核函數(shù)，改變函數(shù)的形式和參數(shù)，并通過(guò)調(diào)節(jié)函數(shù)參數(shù)隱式的改變從輸入變量至特征空間的映射，避免了類簇邊界對(duì)新來(lái)數(shù)據(jù)的高度敏感以防止過(guò)擬合，提高了模型的泛化能力，對(duì)似然估計(jì)項(xiàng)和先驗(yàn)概率項(xiàng)取對(duì)數(shù)，在訓(xùn)練前期和后期降低先驗(yàn)概率項(xiàng)和似然估計(jì)項(xiàng)的偏重，實(shí)現(xiàn)模型的穩(wěn)定性收斂。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，更具體的說(shuō)是涉及一種改進(jìn)型貝葉斯自適應(yīng)共振分類方法。

背景技術(shù)

目前，貝葉斯自適應(yīng)共振理論分類模型(Bayesian Adaptive Resonance TheoryMAP,BARTMAP)，簡(jiǎn)稱BAM，其解決了類簇?cái)?shù)量無(wú)法定義和類別擴(kuò)散的問(wèn)題實(shí)現(xiàn)了良好的分類性能而得到了廣泛的應(yīng)用，但BAM本身仍存在不可避免的問(wèn)題：1)計(jì)算成本過(guò)高：貝葉斯聚類過(guò)程中通過(guò)定義高斯分布函數(shù)，不斷計(jì)算和更新協(xié)方差矩陣，從而匹配和調(diào)節(jié)類簇的大小和形狀，但協(xié)方差的計(jì)算成本過(guò)高；2)性能不穩(wěn)定：決定分類效果的后驗(yàn)概率依賴于似然估計(jì)項(xiàng)和先驗(yàn)概率項(xiàng)，在樣本數(shù)據(jù)維度較高的情況下，似然估計(jì)項(xiàng)變得異常不穩(wěn)定，難以實(shí)現(xiàn)全局收斂，從而影響了BAM的分類性能。

針對(duì)以上問(wèn)題，研究人員提出了核貝葉斯自適應(yīng)共振理論分類模型(KernelBayesian ARTMAP，KBAM)，引入核貝葉斯規(guī)則和熵誘導(dǎo)度量值，避免了大量的協(xié)方差計(jì)算，節(jié)省了計(jì)算成本，同時(shí)規(guī)避了后驗(yàn)概率項(xiàng)的計(jì)算過(guò)程，提高了模型的穩(wěn)定性，但熵誘導(dǎo)度量值一定程度上削弱了局部信息交叉潛力，在小樣本訓(xùn)練過(guò)程中存在準(zhǔn)確率降低的情況，模型的泛化能力不足，造成分類性能明顯下降。

但是，盡管BAM和KBAM可以解決分類過(guò)程中的存在的噪聲干擾致類別擴(kuò)散，高維樣本不穩(wěn)定等問(wèn)題，但現(xiàn)階段仍不能很好處理高維度下的小樣本數(shù)據(jù)。

因此，提出一種適用于高維度下的小樣本的貝葉斯自適應(yīng)共振模型是本領(lǐng)域技術(shù)人員亟需解決的問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種改進(jìn)型貝葉斯自適應(yīng)共振分類方法，通過(guò)引入兩種類型的過(guò)擬合抑制機(jī)制提高了模型的泛化能力；在降低模型的復(fù)雜度的過(guò)擬合抑制機(jī)制中，引入有理二次核函數(shù)，改變函數(shù)的形式和參數(shù)，并通過(guò)調(diào)節(jié)函數(shù)參數(shù)隱式的改變從輸入變量至特征空間的映射，避免了類簇邊界對(duì)新來(lái)數(shù)據(jù)的高度敏感以防止過(guò)擬合，提高了模型的泛化能力，在模型正則化的過(guò)擬合抑制機(jī)制中對(duì)似然估計(jì)項(xiàng)和先驗(yàn)概率項(xiàng)分別取對(duì)數(shù)，分別在訓(xùn)練前期和后期降低先驗(yàn)概率項(xiàng)和似然估計(jì)項(xiàng)的偏重，防止模型過(guò)擬合，實(shí)現(xiàn)模型的穩(wěn)定性收斂。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種改進(jìn)型貝葉斯自適應(yīng)共振分類方法，包括以下步驟：

S1、構(gòu)建RQ-BR-BAM模型，引入有理二次核函數(shù)即RQ的過(guò)擬合抑制機(jī)制和貝葉斯正則化即BR的過(guò)擬合抑制機(jī)制

S2、對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，并設(shè)定試驗(yàn)參數(shù)及RQ-BR-BAM模型參數(shù)；

S3、通過(guò)步驟2中預(yù)處理后的數(shù)據(jù)，對(duì)RQ-BR-BAM模型進(jìn)行訓(xùn)練；

S4、通過(guò)訓(xùn)練完成后的模型進(jìn)行分類實(shí)驗(yàn)并對(duì)比模型的推斷準(zhǔn)確率。

優(yōu)選的，所述步驟S1的構(gòu)建RQ-BR-BAM模型的具體步驟為：