[發(fā)明專(zhuān)利]基于多任務(wù)協(xié)同學(xué)習(xí)的圖像分類(lèi)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110253803.8
• 申請(qǐng)日: 2021-03-02
• 公開(kāi)（公告）號(hào): CN113033626B
• 公開(kāi)（公告）日: 2022-04-26
• 發(fā)明（設(shè)計(jì)）人: 聶飛平;常偉;王榕;李學(xué)龍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06V10/764
• 分類(lèi)號(hào): G06V10/764;G06V10/774;G06V10/771;G06K9/62
• 代理公司: 西安凱多思知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61290
• 代理人: 王鮮凱

本發(fā)明提供了一種基于多任務(wù)協(xié)同學(xué)習(xí)的圖像分類(lèi)方法。首先，對(duì)輸入的若干圖像分類(lèi)數(shù)據(jù)集進(jìn)行降維預(yù)處理，并隨機(jī)挑選樣本數(shù)據(jù)構(gòu)成訓(xùn)練數(shù)據(jù)；然后，構(gòu)建了包含新式低秩約束項(xiàng)的圖像分類(lèi)優(yōu)化模型，通過(guò)最小化前k個(gè)最小奇異值來(lái)逼近秩極小化問(wèn)題，并相應(yīng)提出了新的交替迭代優(yōu)化算法來(lái)求解所提模型，得到具有低秩結(jié)構(gòu)的分類(lèi)映射矩陣；最后，利用學(xué)習(xí)到的映射矩陣對(duì)圖像數(shù)據(jù)集進(jìn)行分類(lèi)處理。本發(fā)明可以更好地學(xué)習(xí)到不同圖像分類(lèi)任務(wù)間的低秩結(jié)構(gòu)關(guān)系，在處理大規(guī)模且多種類(lèi)圖像數(shù)據(jù)集時(shí)能更快收斂并得到更好的分類(lèi)結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明屬機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于多任務(wù)協(xié)同學(xué)習(xí)的圖像分類(lèi)方法，通過(guò)對(duì)多個(gè)圖像分類(lèi)任務(wù)的協(xié)同學(xué)習(xí)，來(lái)提高每個(gè)學(xué)習(xí)任務(wù)的分類(lèi)精度。

背景技術(shù)

多任務(wù)學(xué)習(xí)方法(Multi-task learning，MTL)作為一種重要的機(jī)器學(xué)習(xí)技術(shù)，近年來(lái)被廣泛應(yīng)用于多個(gè)科學(xué)領(lǐng)域中。傳統(tǒng)的監(jiān)督學(xué)習(xí)算法，如回歸、圖像分類(lèi)等，其通常需要大量的標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練來(lái)得到最優(yōu)的模型參數(shù)。然而在現(xiàn)實(shí)場(chǎng)景中，有些任務(wù)并沒(méi)有足夠的訓(xùn)練數(shù)據(jù)集來(lái)得到較好的分類(lèi)器，如醫(yī)學(xué)圖像分析領(lǐng)域。因此，多任務(wù)學(xué)習(xí)方法無(wú)疑是解決這類(lèi)問(wèn)題的一種新思路。多任務(wù)學(xué)習(xí)(MTL)可以認(rèn)為是歸納遷移學(xué)習(xí)的一種變式；對(duì)于傳統(tǒng)的監(jiān)督學(xué)習(xí)方法，其往往忽略了學(xué)習(xí)任務(wù)之間的相關(guān)性，從而單獨(dú)對(duì)模型進(jìn)行訓(xùn)練學(xué)習(xí)。然而事實(shí)上，當(dāng)有不同目標(biāo)但相關(guān)性較強(qiáng)的任務(wù)聯(lián)合學(xué)習(xí)和訓(xùn)練時(shí)，其單個(gè)任務(wù)將會(huì)從多個(gè)任務(wù)中所包含的共享信息和表示下受益，進(jìn)而提高學(xué)習(xí)性能。

在多任務(wù)圖像分類(lèi)問(wèn)題上，MTL方法的最大挑戰(zhàn)是如何發(fā)現(xiàn)任務(wù)間的相關(guān)性使得大多數(shù)任務(wù)能從聯(lián)合學(xué)習(xí)的過(guò)程中受益。傳統(tǒng)的MTL方法大致可分為三類(lèi)：基于任務(wù)關(guān)系的學(xué)習(xí)方法(Task Relation)，分解法(Decomposition Approach)以及特征學(xué)習(xí)方法(Feature Learning)。任務(wù)關(guān)系學(xué)習(xí)方法利用任務(wù)間相似度、任務(wù)協(xié)方差矩陣等對(duì)任務(wù)關(guān)聯(lián)進(jìn)行量化，如通過(guò)樹(shù)結(jié)構(gòu)來(lái)描述任務(wù)之間的關(guān)系。分解法是在訓(xùn)練過(guò)程中將參數(shù)矩陣分解為兩個(gè)或多個(gè)矩陣的和，進(jìn)而通過(guò)對(duì)這些成分矩陣的約束來(lái)學(xué)習(xí)任務(wù)之間的相關(guān)性。盡管這兩類(lèi)方法在MTL問(wèn)題上取得了很好的性能，但是由于模型設(shè)計(jì)的復(fù)雜性以及參數(shù)設(shè)置困難，其在真實(shí)場(chǎng)景中并不適用。而基于特征學(xué)習(xí)的方法能夠很好地解決這些問(wèn)題，其假設(shè)學(xué)習(xí)任務(wù)之間是存在相關(guān)性的，對(duì)于具有不同目標(biāo)的相關(guān)任務(wù)，在原始特征空間的基礎(chǔ)上共享有一個(gè)共同的信息或表示子空間。為了找到這個(gè)共同表示，文獻(xiàn)“J.Liu,S.Ji,andJ.Ye,“Multi-task feature learning via efficient‘2；1-norm minimization,”inProceedings of the Twenty-Fifth Conference on Uncertainty in ArtificialIntelligence,2009,pp.339–348.”提出了基于l_2，1范數(shù)的稀疏約束方法來(lái)學(xué)習(xí)相關(guān)任務(wù)之間的共享特征子空間，進(jìn)而通過(guò)學(xué)習(xí)到的稀疏子空間在多任務(wù)學(xué)習(xí)過(guò)程中提高單個(gè)任務(wù)的學(xué)習(xí)性能。此外，不同于對(duì)共享特征子空間的稀疏約束，一類(lèi)常見(jiàn)的低維特征子空間學(xué)習(xí)方法也是量化多個(gè)任務(wù)間相關(guān)性的有效方法。文獻(xiàn)“A.Argyriou,T.Evgeniou,and M.Pontil,“Convex multi-task feature learning,”Machine learning,vol.73,no.3,pp.243–272,2008.”采用低秩約束方法來(lái)學(xué)習(xí)特征子空間所潛在的低維表示，通過(guò)引入跡范數(shù)(即核范數(shù)：Nuclear Norm)作為正則化項(xiàng)來(lái)逼近秩極小化問(wèn)題。跡范數(shù)被視為秩函數(shù)的最佳凸包絡(luò)，通常被引入來(lái)對(duì)秩極小化問(wèn)題進(jìn)行松弛求解。這是因?yàn)橹苯忧蠼庵葮O小化目標(biāo)函數(shù)是一個(gè)NP-hard問(wèn)題。然而，跡范數(shù)并不是秩極小化問(wèn)題的緊逼近(Tight Approximation)。事實(shí)上，跡范數(shù)和秩極小化之間存在很大的差距。因?yàn)椋仃嚨闹鹊扔谄浞橇闫娈愔档膫€(gè)數(shù)，當(dāng)矩陣的最大奇異值發(fā)生顯著變化時(shí)，跡范數(shù)也會(huì)發(fā)生顯著變化，但該矩陣的秩卻仍然保持不變，這使得基于跡范數(shù)的正則化項(xiàng)在某些實(shí)際情況下可能會(huì)失去對(duì)矩陣秩的控制。為此，需要找到一種更好的近似秩極小化的方法，以便在多個(gè)學(xué)習(xí)任務(wù)中發(fā)現(xiàn)內(nèi)在共享信息。

發(fā)明內(nèi)容