[發(fā)明專利]基于非線性度自適應(yīng)子域領(lǐng)域適應(yīng)的極少量訓(xùn)練樣本下圖片分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110346275.0
• 申請(qǐng)日: 2021-03-31
• 公開（公告）號(hào): CN113420775A
• 公開（公告）日: 2021-09-21
• 發(fā)明（設(shè)計(jì)）人: 潘杰;陳寧寧;鄒筱瑜
• 申請(qǐng)（專利權(quán)）人: 中國(guó)礦業(yè)大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08;G06F17/16
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 馬玉雯

本發(fā)明公開了一種基于非線性度自適應(yīng)子域領(lǐng)域適應(yīng)的極少量訓(xùn)練樣本下圖片分類方法，該方法從其它相關(guān)領(lǐng)域遷移知識(shí)到目標(biāo)域，解決深度學(xué)習(xí)圖片分類可訓(xùn)練標(biāo)簽樣本少的問題。該方法綜合考慮同類別分布差異和不同類別分布差異，領(lǐng)域適應(yīng)過程中在減小同類別分布差異的基礎(chǔ)上增大不同類別分布差異，既增加了源域和目標(biāo)域同類別的可遷移性，又增加了源域和目標(biāo)域不同類別間的可辨別性，并且應(yīng)用最大均值差異縮小源域和目標(biāo)域的邊緣概率分布差異。該方法通過神經(jīng)元非線性度可變的自適應(yīng)尋找更適合任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)，優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)，提高領(lǐng)域適應(yīng)能力和泛化能力，從而保證了最終的圖片識(shí)別的分類精度。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)圖片分類領(lǐng)域，特別是涉及了基于非線性度自適應(yīng)子域領(lǐng)域適應(yīng)的極少量訓(xùn)練樣本下圖片分類方法。

背景技術(shù)

隨著移動(dòng)設(shè)備和計(jì)算機(jī)硬件的大幅度提升，以及互聯(lián)網(wǎng)的普及。每天都有大量數(shù)據(jù)被收集。在利用大數(shù)據(jù)面前，機(jī)器學(xué)習(xí)取得很大進(jìn)展，成為大數(shù)據(jù)挖掘信息的主要技術(shù)手段。在處理文本、圖像、視頻等非結(jié)構(gòu)數(shù)據(jù)方面，一個(gè)至關(guān)重要的問題就是如何有效的利用來自不同領(lǐng)域的數(shù)據(jù)，對(duì)相關(guān)領(lǐng)域的數(shù)據(jù)遷移和復(fù)用。例如，人學(xué)會(huì)騎自行車之后，對(duì)于電動(dòng)車和摩托車很容易掌握。如何遷移騎自行車的技術(shù)知識(shí)到電動(dòng)車和摩托車上，以及如何學(xué)習(xí)到三種工具的不同之處，更快地掌握新工具。在互聯(lián)網(wǎng)領(lǐng)域可以很容易得到大量有類別標(biāo)簽的高分辨率圖像，但是在實(shí)際生活中所產(chǎn)生的圖像像素低并且很難獲取所有圖像的類別，現(xiàn)有的機(jī)器學(xué)習(xí)方法很難取得很好的分類精度。將互聯(lián)網(wǎng)領(lǐng)域所產(chǎn)生的大數(shù)據(jù)遷移到實(shí)際生活中的小領(lǐng)域數(shù)據(jù)，解決實(shí)際生活中數(shù)據(jù)標(biāo)簽獲取難的問題，遷移學(xué)習(xí)為利用大數(shù)據(jù)解決小數(shù)據(jù)問題提供有效方法。

目前，依靠大規(guī)模訓(xùn)練樣本和高性能硬件資源，卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeural Networks,CNN)在物體的識(shí)別與檢測(cè)方面取得巨大成功。在機(jī)器學(xué)習(xí)的基本假設(shè)下，樣本被用來訓(xùn)練分類器，以便對(duì)未知類別的樣本進(jìn)行分類，只有當(dāng)測(cè)試樣本與訓(xùn)練樣本的分布相同時(shí)，學(xué)習(xí)器才能很好地工作。而在現(xiàn)實(shí)世界中，并不能保證語義相似的數(shù)據(jù)具有相同的特征分布。不同的采樣環(huán)境，如分辨率、光照、背景等，會(huì)導(dǎo)致不同的分布，進(jìn)而造成數(shù)據(jù)偏差與領(lǐng)域漂移。在訓(xùn)練和測(cè)試數(shù)據(jù)分布不同的情況下學(xué)習(xí)一個(gè)判別模型成為遷移學(xué)習(xí)。為了解決樣本空間的特定分布，至少需要獲取一些信息。通常可以從待分類目標(biāo)域收集未標(biāo)記數(shù)據(jù)，但是標(biāo)簽很難獲得，或者僅有少量標(biāo)簽。但是，目標(biāo)域數(shù)據(jù)可以學(xué)習(xí)到源域和目標(biāo)域之間的不同之處，可以利用這些信息使分類器適應(yīng)目標(biāo)域，避免受域分布不同造成對(duì)結(jié)果的影響，以便更好的預(yù)測(cè)目標(biāo)域標(biāo)簽。

基于以上理論，領(lǐng)域適應(yīng)已經(jīng)被廣泛應(yīng)用于很多現(xiàn)實(shí)問題中。在自然語言處理方面例如，由長(zhǎng)文本數(shù)據(jù)學(xué)習(xí)處理短文本數(shù)據(jù)；由中文文檔到英文文檔等。在計(jì)算機(jī)視覺方面學(xué)習(xí)從公共數(shù)據(jù)集(Amazon、Dslr等)學(xué)習(xí)分類模型，并且遷移到生活中手機(jī)所拍攝的照片分類上。在醫(yī)療領(lǐng)域?qū)Γ瑢?duì)數(shù)據(jù)的標(biāo)記代價(jià)極其高，并且數(shù)據(jù)十分寶貴，例如應(yīng)用多源醫(yī)療信息給出全面診斷等。

領(lǐng)域自適應(yīng)分為淺層領(lǐng)域自適應(yīng)和深度領(lǐng)域自適應(yīng)。根據(jù)遷移學(xué)習(xí)的方法可以分為以下幾種：基于實(shí)例的遷移是把源域中的有用樣本挑選到目標(biāo)域訓(xùn)練集中擴(kuò)大樣本訓(xùn)練集。基于特征表示遷移學(xué)習(xí)方法是把源域的實(shí)例通過特征變換映射到目標(biāo)域，或者將源域和目標(biāo)域的實(shí)例映射到一個(gè)子空間，目的是讓源域和目標(biāo)域之間的特征正分布盡量減少從而達(dá)到擴(kuò)增目標(biāo)域數(shù)據(jù)量的目的。基于參數(shù)的遷移學(xué)習(xí)方法是把源域模型訓(xùn)練的參數(shù)作為目標(biāo)域模型訓(xùn)練的初始值從而可以訓(xùn)練出更好的模型。另外還有關(guān)系型知識(shí)的遷移學(xué)習(xí)方法和混合遷移學(xué)習(xí)方法等。

本專利中所提出的方法具體應(yīng)用背景為存在其它領(lǐng)域標(biāo)簽圖片輔助目標(biāo)域少量訓(xùn)練樣本下的圖片分類問題，解決使用少量樣本在避免網(wǎng)絡(luò)過擬合的情況下學(xué)習(xí)圖片分類網(wǎng)絡(luò)。可訓(xùn)練樣本的稀疏性，會(huì)導(dǎo)致傳統(tǒng)的機(jī)器學(xué)習(xí)方法出現(xiàn)嚴(yán)重過的擬合過擬合問題，換而言之，就是學(xué)習(xí)到的分類網(wǎng)絡(luò)只是在訓(xùn)練集上表現(xiàn)很好在測(cè)試集上結(jié)果很差。雖然一些傳統(tǒng)的半監(jiān)督學(xué)習(xí)、主動(dòng)學(xué)習(xí)等也為數(shù)據(jù)的稀缺性提供了有效方法，但是他們都需要目標(biāo)域有一定程度的標(biāo)記數(shù)據(jù)。如果標(biāo)記數(shù)據(jù)的獲取代價(jià)太大，如何從不同領(lǐng)域中遷移知識(shí)將變得不可避免。