[發(fā)明專利]基于改進的核極限學(xué)習(xí)機和GAN的自適應(yīng)學(xué)習(xí)方法

在審

• 申請?zhí)枺?/td>: 201910043961.3
• 申請日: 2019-01-17
• 公開（公告）號: CN110414545A
• 公開（公告）日: 2019-11-05
• 發(fā)明（設(shè)計）人: 何春梅;康紅宇;徐繁華
• 申請（專利權(quán)）人: 湘潭大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提出了一種基于改進的核極限學(xué)習(xí)機和GAN的自適應(yīng)學(xué)習(xí)方法，屬于域自適應(yīng)技術(shù)領(lǐng)域。其首先通過基于改進的核極限學(xué)習(xí)機預(yù)訓(xùn)練一個分類器C，然后根據(jù)傳統(tǒng)極限學(xué)習(xí)機得到源域和目標(biāo)域特征映射，結(jié)合GAN自適應(yīng)學(xué)習(xí)以最小化源域映射和目標(biāo)域特征映射距離，使得源分類模型C可以直接應(yīng)用于目標(biāo)映射，能對來自不同領(lǐng)域沒有標(biāo)注的數(shù)據(jù)進行分類，從而消除學(xué)習(xí)單獨的目標(biāo)分類器的需要，提高了分類器的復(fù)用性，有效增強模型對新環(huán)境的適應(yīng)性，并且還解決了現(xiàn)有KELM中逆矩陣不存在的情況下無法求解β值的問題，同時因無需調(diào)整懲罰系數(shù)C，進一步減少了優(yōu)化網(wǎng)絡(luò)的時間。

技術(shù)領(lǐng)域

本發(fā)明屬于域自適應(yīng)技術(shù)領(lǐng)域，涉及一種核極限學(xué)習(xí)機和GAN 的自適應(yīng)學(xué)習(xí)的方法。

背景技術(shù)

機器學(xué)習(xí)是如今智能時代的一個重要研究方向，它的研究成果被廣泛的應(yīng)用到各個領(lǐng)域，在人們的日常生活中占據(jù)著越來越重要的地位。但是目前的機器學(xué)習(xí)模型只處理訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)來自相同分布的情況，因此從訓(xùn)練數(shù)據(jù)中訓(xùn)練出的模型能直接應(yīng)用于測試數(shù)據(jù)，在實際應(yīng)用中，這種情況經(jīng)常是不成立的[1]。另外，我們正處于一個大數(shù)據(jù)時代，每天各行各業(yè)，生活社交中都產(chǎn)生著大量的圖像，文本，語音等數(shù)據(jù)。機器學(xué)習(xí)依賴這些數(shù)據(jù)來訓(xùn)練和更新模型，使得模型的性能越來越好。然而，數(shù)據(jù)雖多，但大都處于沒有標(biāo)注的原始形態(tài)。數(shù)據(jù)的標(biāo)注不僅非常耗時并且十分昂貴。因此，如何利用相關(guān)領(lǐng)域標(biāo)注好的數(shù)據(jù)使機器學(xué)習(xí)具有領(lǐng)域間自適應(yīng)學(xué)習(xí)的能力，能充分利用其它相關(guān)領(lǐng)域知識，而不是一定總要獲得足量的同領(lǐng)域標(biāo)記數(shù)據(jù)來進行模式訓(xùn)練是近年來研究的熱點[2]。域自適應(yīng)學(xué)習(xí)對于該問題的解決具有突出貢獻，其主要應(yīng)用與源域和目標(biāo)域的任務(wù)相同，但數(shù)據(jù)不同且相關(guān)的情況。這類學(xué)習(xí)的核心任務(wù)是解決兩個域數(shù)據(jù)的差異問題，是遷移學(xué)習(xí)[3]的一個子類。

最近域自適應(yīng)方法一般可以分為基于MMD的自適應(yīng)方法和基于對抗性的自適應(yīng)方法，其共同的最終目標(biāo)是最小化源和目標(biāo)分布之間的差異。對抗性學(xué)習(xí)方法是一種很有前途的訓(xùn)練魯棒深網(wǎng)絡(luò)的方法，可以在不同的領(lǐng)域產(chǎn)生復(fù)雜的樣本[4]。域?qū)剐詫W(xué)習(xí)過程是一個兩人博弈，其中第一個參與者是訓(xùn)練域鑒別器D以區(qū)分源域和目標(biāo)域的，第二個參與者是同時訓(xùn)練能生成混淆域判別器的特征表示F[5]。通過博弈，域鑒別器D愈來愈精明，同時最小化兩個域的距離。

2004年，黃廣斌教授(新加坡南陽理工大學(xué))等人[6]提出的一種無需迭代計算、執(zhí)行速度快、泛化能力強的前饋神經(jīng)網(wǎng)絡(luò)，即極速學(xué)習(xí)機。不同于其他神經(jīng)網(wǎng)絡(luò)，極速學(xué)習(xí)機通過隨機生成輸入層權(quán)重和偏置值，直接求解出輸出權(quán)重的最小二乘解，同時得到最終的訓(xùn)練模型。為進一步增強ELM的泛化能力和穩(wěn)定性，Huang提出將核函數(shù)引入到ELM中，提出了KELM算法[7]，利用Mercer’s條件構(gòu)造核矩陣替代HH^T。在KELM中，不需要知道隱含層特征映射h(x)，也不需要設(shè)定隱含層神經(jīng)元數(shù)量，因而具有比ELM更好的泛化能力和穩(wěn)定性,但會出現(xiàn)逆矩陣不存在的極端情況并且還需調(diào)整懲罰系數(shù)C。于是何春梅等于提出了基于共軛梯度算法的線性KELM網(wǎng)絡(luò)，新算法無需計算逆矩陣，極大地提高了網(wǎng)絡(luò)訓(xùn)練速度，并且節(jié)省了內(nèi)存空間的占用。同時還可以在求解β中避免出現(xiàn)中逆矩陣不存在的極端情況，也無需調(diào)整懲罰系數(shù)C，從而進一步減少了優(yōu)化網(wǎng)絡(luò)的時間[8]。

基于改進的核極限學(xué)習(xí)機和GAN的自適應(yīng)學(xué)習(xí)方法將基于共軛梯度算法的線性KELM網(wǎng)絡(luò)和對抗性的自適應(yīng)方法有效的結(jié)合在一起，繼承了KELM在效率方面上的優(yōu)勢，同時對于實際應(yīng)用中存在的樣本難以獲得標(biāo)簽，訓(xùn)練模型只能應(yīng)用于特定任務(wù)等問題，提供了一種解決方案，增強了算法的推廣能力，提高其實用性。

[1]Chen Y,Song S,Li S,et al.Domain Space Transfer Extreme LearningMachine for Domain Adaptation[J].IEEE Transactions on Cybernetics,2018:1-14.