[發(fā)明專(zhuān)利]基于多源多標(biāo)簽共享子空間學(xué)習(xí)的復(fù)雜圖像精確分類(lèi)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010475862.5
• 申請(qǐng)日: 2020-05-29
• 公開(kāi)（公告）號(hào): CN111783831B
• 公開(kāi)（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 王鑫;張?chǎng)?/a>;張之露;呂國(guó)芳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 河海大學(xué)
• 主分類(lèi)號(hào): G06V10/764
• 分類(lèi)號(hào): G06V10/764;G06K9/62
• 代理公司: 南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司 32200
• 代理人: 湯金燕

本發(fā)明公開(kāi)了一種基于多源多標(biāo)簽共享子空間學(xué)習(xí)的復(fù)雜圖像精確分類(lèi)方法。首先，針對(duì)包含多層語(yǔ)義信息的圖像，采用全局Gist特征提取方法獲得圖像的全局語(yǔ)義信息描述；其次，引入多個(gè)與目標(biāo)域樣本集相關(guān)聯(lián)但不相同的多標(biāo)簽圖像數(shù)據(jù)集作為多個(gè)源領(lǐng)域?qū)δ繕?biāo)域中的訓(xùn)練樣本進(jìn)行多標(biāo)簽化預(yù)處理，將多源域中的先驗(yàn)判別信息遷移至目標(biāo)域中，改善目標(biāo)域預(yù)測(cè)模型的性能；然后，基于樣本的訓(xùn)練和多源域賦予的先驗(yàn)偽標(biāo)簽設(shè)計(jì)新的經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)，通過(guò)增加訓(xùn)練樣本的重要性權(quán)重改善了模型擬合的優(yōu)化性能，最終獲得理想的類(lèi)別預(yù)測(cè)模型(即多標(biāo)簽分類(lèi)模型)，以對(duì)待分類(lèi)圖像進(jìn)行類(lèi)別預(yù)測(cè)，可以提升相應(yīng)分類(lèi)方案的靈活性，有利于相應(yīng)目標(biāo)分類(lèi)器性能的提升和改善。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于多源多標(biāo)簽共享子空間學(xué)習(xí)的復(fù)雜圖像精確分類(lèi)方法。

背景技術(shù)

圖像分類(lèi)是圖像處理和模式識(shí)別領(lǐng)域研究的熱門(mén)課題，其已經(jīng)廣泛應(yīng)用于軍事戰(zhàn)場(chǎng)，生物醫(yī)學(xué)等實(shí)際應(yīng)用中。當(dāng)前的圖像分類(lèi)技術(shù)研究主要以圖像的單一標(biāo)簽描述為基礎(chǔ)，即一幅圖像只有唯一的標(biāo)簽表示，這樣雖然比較簡(jiǎn)單直接，但也存在著無(wú)法精確描述圖像的缺陷。基于此，多標(biāo)簽學(xué)習(xí)通過(guò)對(duì)圖像進(jìn)行全面的描述正越來(lái)越多地引起研究者們的關(guān)注。多標(biāo)簽是由于圖像本身的“多義性”造成的，若一個(gè)“多義”的對(duì)象僅使用一種標(biāo)簽來(lái)描述會(huì)導(dǎo)致其在表示階段就丟失了許多重要信息，為對(duì)象賦予多樣化的描述也可以滿足圖像分類(lèi)技術(shù)實(shí)際應(yīng)用的需求。圖像多標(biāo)簽分類(lèi)的主要挑戰(zhàn)在于隨著標(biāo)簽種類(lèi)的增多，分類(lèi)的結(jié)果組合數(shù)目將會(huì)呈現(xiàn)指數(shù)級(jí)的增長(zhǎng)，分類(lèi)任務(wù)因而變得更加繁瑣復(fù)雜，相關(guān)的研究存在著很大的難度和挑戰(zhàn)。

當(dāng)前的多標(biāo)簽學(xué)習(xí)相關(guān)研究主要可以概括為兩種思路：一種是問(wèn)題轉(zhuǎn)換方法，即把多標(biāo)簽學(xué)習(xí)問(wèn)題轉(zhuǎn)換為獨(dú)立的單標(biāo)簽學(xué)習(xí)問(wèn)題來(lái)處理；第二種為算法自適應(yīng)方法，即運(yùn)用已成熟的學(xué)習(xí)算法來(lái)適應(yīng)圖像多標(biāo)簽學(xué)習(xí)的使用場(chǎng)景。目前已有眾多學(xué)者提出并改進(jìn)了很多優(yōu)秀的多標(biāo)簽圖像分類(lèi)算法，如Binary Relevance，Classifier Chains，ML-KNN(Multi-label k-Nearest Neighbors)算法等，它們將多標(biāo)簽學(xué)習(xí)問(wèn)題進(jìn)行拆解和轉(zhuǎn)化，最終通過(guò)解決相對(duì)簡(jiǎn)單的二分類(lèi)問(wèn)題來(lái)完成多標(biāo)簽學(xué)習(xí)任務(wù)。上述這些方法雖然可以在一定程度上解決多標(biāo)簽圖像分類(lèi)問(wèn)題，但它們沒(méi)有對(duì)多種標(biāo)簽之間的相關(guān)性進(jìn)行充分有效的探索，使用的場(chǎng)景也有著諸多的限制，分類(lèi)的性能將會(huì)受到較大的影響。為此，又有研究者提出了共享子空間學(xué)習(xí)方法，通過(guò)假設(shè)多個(gè)標(biāo)簽之間共享一個(gè)公共子空間，以訓(xùn)練樣本預(yù)測(cè)風(fēng)險(xiǎn)函數(shù)最小為準(zhǔn)則，通過(guò)廣義特征值分解獲得最佳的空間轉(zhuǎn)換矩陣，繼而在子空間中進(jìn)行多標(biāo)簽學(xué)習(xí)。多標(biāo)簽學(xué)習(xí)與單標(biāo)簽學(xué)習(xí)方法相比存在較大的差異，不同標(biāo)簽之間的相關(guān)性是研究的核心。

在圖像分類(lèi)問(wèn)題中，傳統(tǒng)的機(jī)器學(xué)習(xí)分類(lèi)器雖然可以獲得良好的性能，但應(yīng)用的弊端也非常明顯。當(dāng)新的樣本數(shù)據(jù)分布發(fā)生了改變或模型的輸出場(chǎng)景產(chǎn)生了變化時(shí)，原有的模型將無(wú)法適用于新的場(chǎng)景，需要重新進(jìn)行訓(xùn)練學(xué)習(xí)，靈活性較差。遷移學(xué)習(xí)作為機(jī)器學(xué)習(xí)中新的研究分支，在數(shù)據(jù)分布不完全一致或者模型的應(yīng)用場(chǎng)景有一定改變時(shí)，可以選擇相似的領(lǐng)域來(lái)進(jìn)行自適應(yīng)學(xué)習(xí)或者對(duì)已有的普適化模型進(jìn)行微調(diào)，具有非常好的適應(yīng)性。遷移學(xué)習(xí)通過(guò)從不同領(lǐng)域中尋找對(duì)建立目標(biāo)域模型有幫助的知識(shí)進(jìn)行遷移來(lái)幫助完成目標(biāo)模型的建立，模型的有效性很大程度地取決于源領(lǐng)域與目標(biāo)域之間的相關(guān)性，關(guān)聯(lián)越強(qiáng)則遷移的效果越好。然而當(dāng)只有單一的源領(lǐng)域可以進(jìn)行遷移時(shí)，即便其與目標(biāo)域非常相關(guān)，目標(biāo)域模型的性能也會(huì)因?yàn)榭蛇w移的知識(shí)有限而受到限制。針對(duì)該問(wèn)題，多源遷移學(xué)習(xí)通過(guò)研究從多個(gè)源領(lǐng)域中提取更多有用的判別信息來(lái)不斷提升目標(biāo)模型的性能，這樣一來(lái)，遷移學(xué)習(xí)的效果可以得到更加明顯的改善。

公開(kāi)號(hào)為CN109816009A的基于圖卷積的多標(biāo)簽圖像分類(lèi)方法、裝置及設(shè)備，它在獲取圖像的特征信息后，利用圖卷積網(wǎng)絡(luò)進(jìn)行多標(biāo)簽關(guān)系建模并學(xué)習(xí)得到分類(lèi)器，根據(jù)多標(biāo)簽分類(lèi)器輸出的標(biāo)簽分?jǐn)?shù)來(lái)確定圖像的標(biāo)簽，提高了圖像分類(lèi)的精度。盡管該方法對(duì)標(biāo)簽之間的關(guān)聯(lián)信息進(jìn)行了充分的利用，借助圖卷積網(wǎng)絡(luò)完成多標(biāo)簽學(xué)習(xí)任務(wù)，但最終的分類(lèi)性能依賴(lài)于建圖的質(zhì)量，建模的是局部圖片標(biāo)簽的關(guān)系而非全局關(guān)系。