[發(fā)明專利]一種基于自監(jiān)督知識(shí)遷移的小樣本視覺目標(biāo)識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010830474.4
• 申請(qǐng)日: 2020-08-18
• 公開（公告）號(hào): CN112069921A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計(jì)）人: 宋杰;宋明黎;馮尊磊
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵

一種基于自監(jiān)督知識(shí)遷移的小樣本視覺目標(biāo)識(shí)別方法，包括：1)收集與任務(wù)弱相關(guān)、數(shù)量較多的無標(biāo)注輔助數(shù)據(jù)，以及與任務(wù)強(qiáng)相關(guān)、數(shù)據(jù)量較小的有標(biāo)注目標(biāo)數(shù)據(jù)；2)在數(shù)據(jù)量較多的無標(biāo)注輔助數(shù)據(jù)上通過數(shù)據(jù)變換構(gòu)造正樣本對(duì)以及負(fù)樣本對(duì)，并利用對(duì)比損失函數(shù)作自監(jiān)督學(xué)習(xí)，預(yù)訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)；3)利用預(yù)訓(xùn)練模型提取目標(biāo)數(shù)據(jù)的特征，并在該特征空間的基礎(chǔ)進(jìn)行數(shù)據(jù)降維，學(xué)習(xí)到一個(gè)對(duì)目標(biāo)數(shù)據(jù)具有較強(qiáng)判別能力的特征子空間；4)將每個(gè)類別少量標(biāo)注數(shù)據(jù)在該子空間的特征表達(dá)作為該類別的特征原型，利用最近鄰方法對(duì)測(cè)試數(shù)據(jù)進(jìn)行分類預(yù)測(cè)。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，針對(duì)圖像分類、目標(biāo)檢測(cè)、視頻監(jiān)控等場(chǎng)景中標(biāo)注數(shù)據(jù)量不足的問題，提出了一種基于自監(jiān)督知識(shí)遷移的小樣本視覺目標(biāo)識(shí)別方法。

背景技術(shù)

計(jì)算機(jī)視覺目標(biāo)識(shí)別是計(jì)算機(jī)視覺以及人工智能領(lǐng)域最基礎(chǔ)、最核心的問題之一。近幾年由于深度學(xué)習(xí)技術(shù)的發(fā)展，視覺目標(biāo)識(shí)別已經(jīng)取得了非常巨大的進(jìn)步。現(xiàn)有的深度模型在海量標(biāo)注數(shù)據(jù)驅(qū)動(dòng)下，已經(jīng)能夠?qū)崿F(xiàn)單個(gè)模型準(zhǔn)確識(shí)別上千種視覺目標(biāo)。然而在視覺目標(biāo)分類、檢測(cè)等場(chǎng)景中，現(xiàn)有深度模型依賴大量的高質(zhì)量標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)。但現(xiàn)實(shí)生活場(chǎng)景中由于數(shù)據(jù)的采集成本以及標(biāo)注成本普遍較高，通常很難獲取到大規(guī)模標(biāo)注數(shù)據(jù)用以模型訓(xùn)練。在數(shù)據(jù)較少情況下，這些深度模型通常很難進(jìn)行有效學(xué)習(xí)。

現(xiàn)有的解決小樣本問題的方法主要通過元學(xué)習(xí)來實(shí)現(xiàn)：(1)首先在大量相關(guān)視覺分類任務(wù)上進(jìn)行有監(jiān)督學(xué)習(xí)來提取任務(wù)通用的信息；(2)其次利用這些通用信息引導(dǎo)模型對(duì)當(dāng)前的視覺分類任務(wù)進(jìn)行學(xué)習(xí)。元學(xué)習(xí)依然需要大量有標(biāo)注的相關(guān)視覺數(shù)據(jù)進(jìn)行學(xué)習(xí)，數(shù)據(jù)標(biāo)注成本依然較高；其次元學(xué)習(xí)對(duì)輔助數(shù)據(jù)要求較高，需要輔助數(shù)據(jù)與目標(biāo)數(shù)據(jù)強(qiáng)相關(guān)，否則學(xué)習(xí)到的知識(shí)很難引導(dǎo)模型對(duì)目標(biāo)數(shù)據(jù)的有效學(xué)習(xí)。

發(fā)明內(nèi)容

針對(duì)現(xiàn)實(shí)場(chǎng)景中視覺分類任務(wù)中數(shù)據(jù)量不足的現(xiàn)狀，本發(fā)明提出了一種基于自監(jiān)督知識(shí)遷移的小樣本視覺目標(biāo)識(shí)別方法，從無標(biāo)注、弱相關(guān)的輔助數(shù)據(jù)學(xué)習(xí)通用知識(shí)解決目標(biāo)分類任務(wù)。

為實(shí)現(xiàn)上述目的，本發(fā)明所述的基于自監(jiān)督知識(shí)遷移的小樣本視覺目標(biāo)識(shí)別方法，包括如下步驟：

1)收集與任務(wù)弱相關(guān)、數(shù)量較多的無標(biāo)注輔助數(shù)據(jù)，以及與任務(wù)強(qiáng)相關(guān)、數(shù)據(jù)量較小的有標(biāo)注目標(biāo)數(shù)據(jù)；

2)在數(shù)據(jù)量較多的無標(biāo)注輔助數(shù)據(jù)上通過數(shù)據(jù)變換構(gòu)造正樣本對(duì)以及負(fù)樣本對(duì)，并利用對(duì)比損失函數(shù)作自監(jiān)督學(xué)習(xí)，預(yù)訓(xùn)練一個(gè)深度模型；

3)利用預(yù)訓(xùn)練模型提取目標(biāo)數(shù)據(jù)的特征，并在該特征空間的基礎(chǔ)進(jìn)行數(shù)據(jù)降維，學(xué)習(xí)到一個(gè)對(duì)目標(biāo)數(shù)據(jù)具有較強(qiáng)判別能力的特征子空間；

4)將每個(gè)類別少量標(biāo)注數(shù)據(jù)在該子空間的特征表達(dá)作為該類別的特征原型，利用最近鄰方法對(duì)測(cè)試數(shù)據(jù)進(jìn)行分類預(yù)測(cè)。

進(jìn)一步，步驟1)所述的輔助數(shù)據(jù)無任何標(biāo)注，且數(shù)據(jù)量充足能夠用以訓(xùn)練；所述的目標(biāo)數(shù)據(jù)有標(biāo)注，但數(shù)據(jù)量較少，通常每個(gè)類僅有幾張標(biāo)注圖像。

進(jìn)一步，步驟2)所述的深度模型的最終目標(biāo)是對(duì)目標(biāo)數(shù)據(jù)進(jìn)行識(shí)別，即輸出一個(gè)目標(biāo)數(shù)據(jù)圖像中視覺物體的類別。

進(jìn)一步，步驟1)所述的輔助數(shù)據(jù)用以深度模型對(duì)通用知識(shí)的學(xué)習(xí)；所述的目標(biāo)數(shù)據(jù)用以引導(dǎo)深度模型對(duì)特定目標(biāo)數(shù)據(jù)的快速遷移和準(zhǔn)確識(shí)別。

進(jìn)一步，步驟2)所述的自監(jiān)督學(xué)習(xí)指的是模型的學(xué)習(xí)無需任何人工標(biāo)注，僅依賴?yán)脭?shù)據(jù)本身的自洽信息構(gòu)造偽任務(wù)，以幫助深度模型進(jìn)行預(yù)學(xué)習(xí)。

進(jìn)一步，步驟2)所述的對(duì)比損失通過下式計(jì)算：

其中，i,j表示一個(gè)正樣本對(duì)，N代表模型訓(xùn)練過程中一次迭代更新處理的批大小，z代表數(shù)據(jù)的特征向量，τ代表溫度超參數(shù)，函數(shù)sim代表特征相似性：sim(u,v)＝u^Tv/‖u‖‖v‖。