[發(fā)明專利]一種基于偽標(biāo)簽域適應(yīng)的跨域圖像分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110025651.6
• 申請(qǐng)日: 2021-01-08
• 公開（公告）號(hào): CN112766334B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計(jì)）人: 黃悅;丁興號(hào);章云龍
• 申請(qǐng)（專利權(quán)）人: 廈門大學(xué)
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門南強(qiáng)之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

一種基于偽標(biāo)簽域適應(yīng)的跨域圖像分類方法，涉及圖像處理。包括步驟：A、預(yù)訓(xùn)練深度模型；B、生成目標(biāo)域圖像偽標(biāo)簽；C、訓(xùn)練及優(yōu)化深度模型。方法簡(jiǎn)單有效，能在多個(gè)自然圖像數(shù)據(jù)集上獲得較好效果。避免錯(cuò)誤偽標(biāo)簽的影響，將偽標(biāo)簽樣本加入訓(xùn)練集進(jìn)一步訓(xùn)練網(wǎng)絡(luò)可提高模型在目標(biāo)域的辨別性，提高模型在目標(biāo)域的泛化性能。通過交替給目標(biāo)域打偽標(biāo)簽和采用偽標(biāo)簽樣本訓(xùn)練網(wǎng)絡(luò)，充分利用無標(biāo)簽的目標(biāo)域數(shù)據(jù)，有效提升模型在目標(biāo)域上的識(shí)別性能。改善利用深度學(xué)習(xí)模型進(jìn)行自然圖像識(shí)別時(shí)的泛化性能，提高跨數(shù)據(jù)庫(kù)測(cè)試時(shí)的準(zhǔn)確率和召回率，實(shí)用性強(qiáng)，可移植性強(qiáng)，能夠滿足域差異大、類別不均衡等情況下弱監(jiān)督學(xué)習(xí)的需求。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理，尤其是涉及可改善利用深度學(xué)習(xí)模型進(jìn)行自然圖像識(shí)別時(shí)的泛化性能，提高跨數(shù)據(jù)庫(kù)測(cè)試時(shí)準(zhǔn)確率和召回率的一種基于偽標(biāo)簽域適應(yīng)的跨域圖像分類方法。

背景技術(shù)

深度卷積網(wǎng)絡(luò)將特征提取器和分類器結(jié)合在一起，通過端到端的訓(xùn)練方式學(xué)習(xí)到辨別性的特征。近年來，隨著計(jì)算機(jī)計(jì)算能力和機(jī)器學(xué)習(xí)理論的快速發(fā)展，自然圖像的識(shí)別準(zhǔn)確率迅速提升，在大規(guī)模數(shù)據(jù)集(例如ImageNet數(shù)據(jù)集)(Deng J,Dong W,Socher R,etal.Imagenet:A large-scale hierarchical image database[C]//2009IEEE conferenceon computer vision and pattern recognition.Ieee,2009:248-255)上深度卷積網(wǎng)絡(luò)的識(shí)別性能遠(yuǎn)超越傳統(tǒng)算法，甚至超越人類。然而深度學(xué)習(xí)服從獨(dú)立同分布準(zhǔn)則，當(dāng)測(cè)試數(shù)據(jù)的分布與訓(xùn)練數(shù)據(jù)不同時(shí)，深度學(xué)習(xí)模型的性能會(huì)大幅度下降甚至沒有辨別能力。在實(shí)際應(yīng)用中，針對(duì)每個(gè)分布均收集數(shù)據(jù)，并且人工打標(biāo)簽，這是代價(jià)昂貴的，在很多的情況下甚至是不符合實(shí)際的；因此在訓(xùn)練數(shù)據(jù)上學(xué)習(xí)到一個(gè)模型，并且能夠很好的泛化到不同分布的測(cè)試數(shù)據(jù)上的需求對(duì)于深度學(xué)習(xí)落地是十分迫切的。

針對(duì)訓(xùn)練數(shù)據(jù)(源域)和測(cè)試數(shù)據(jù)(目標(biāo)域)分布不匹配的問題，域適應(yīng)從源域上學(xué)習(xí)具有辨別性的特征知識(shí)，并且將學(xué)習(xí)到的知識(shí)應(yīng)用到目標(biāo)域中。目前主流的方法(GaninY,Ustinova E,Ajakan H,et al.Domain-adversarial training of neural networks[J].The Journal of Machine Learning Research,2016,17(1):2096-2030)通過對(duì)抗學(xué)習(xí)拉近源域和目標(biāo)域的特征分布，從而降低源域和目標(biāo)域的域差異。一方面小的域差異是泛化能力強(qiáng)的必要條件，降低源域和目標(biāo)域的域差異并不代表能夠?qū)W習(xí)到一個(gè)泛化能力強(qiáng)的模型；另外一方面，對(duì)抗學(xué)習(xí)訓(xùn)練不穩(wěn)定，很容易出現(xiàn)模式崩潰的問題，因此需要大量調(diào)參才能獲得較好的性能，這在實(shí)際應(yīng)用中是困難的。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)存在的獲取數(shù)據(jù)困難、標(biāo)注數(shù)據(jù)昂貴等實(shí)際問題，提供可改善利用深度學(xué)習(xí)模型進(jìn)行自然圖像識(shí)別時(shí)的泛化性能，提高跨數(shù)據(jù)庫(kù)測(cè)試時(shí)準(zhǔn)確率和召回率的一種基于偽標(biāo)簽域適應(yīng)的跨域圖像分類方法。本發(fā)明通過交替給目標(biāo)域打偽標(biāo)簽和采用偽標(biāo)簽樣本訓(xùn)練網(wǎng)絡(luò)，能夠充分利用無標(biāo)簽的目標(biāo)域數(shù)據(jù)，有效提升模型在目標(biāo)域上的識(shí)別性能。

本發(fā)明包括以下步驟：

A、預(yù)訓(xùn)練深度模型；

B、生成目標(biāo)域圖像偽標(biāo)簽；

C、訓(xùn)練及優(yōu)化深度模型。

在步驟A中，所述預(yù)訓(xùn)練深度模型的具體步驟可為：首先將通用模型改造為符合特定任務(wù)的模型，將通用模型的最后一層1000分類全連接層替換成重新初始化的C分類全連接層，將最后一層的學(xué)習(xí)率調(diào)整為前面層的10倍，然后采用源域樣本訓(xùn)練改造后的模型，直至收斂；所述通用模型包括AlexNet、VGG、ResNet等。

在步驟B中，所述生成目標(biāo)域圖像偽標(biāo)簽的具體步驟可為：

(1)將目標(biāo)域D_T送入模型，得到相應(yīng)的預(yù)測(cè)其中是C維向量；