[發(fā)明專利]基于在線域自適應(yīng)深度學(xué)習(xí)的圖片分類方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111088084.5
• 申請日: 2021-09-16
• 公開（公告）號: CN113936168A
• 公開（公告）日: 2022-01-14
• 發(fā)明（設(shè)計）人: 汪瑜;張蕊;張曦珊;劉少禮
• 申請（專利權(quán)）人: 中國科學(xué)院計算技術(shù)研究所
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06K9/62;G06N3/08
• 代理公司: 北京律誠同業(yè)知識產(chǎn)權(quán)代理有限公司 11006
• 代理人: 祁建國

本發(fā)明提出一種基于在線域自適應(yīng)深度學(xué)習(xí)的圖片分類方法和系統(tǒng)，包括通過特征提取網(wǎng)絡(luò)提取源域圖片數(shù)據(jù)和目標(biāo)域圖片數(shù)據(jù)的特征，得到源域特征和目標(biāo)域特征；基于源域特征和目標(biāo)域特征到聚類中心的距離顯式表達(dá)域內(nèi)類別條件分布概率；通過最小化源域數(shù)據(jù)標(biāo)簽與域內(nèi)類別條件分布概率的相對熵距離，更新特征提取網(wǎng)絡(luò)與類別聚類中心；通過求解運輸問題，得到目標(biāo)域樣本的類別分配，通過最小化類別分配與域內(nèi)類別條件分布概率的相對熵距離，再次更新特征提取網(wǎng)絡(luò)與聚類中心，將待分類圖片輸入經(jīng)過再次更新的特征提取網(wǎng)絡(luò)，得到待分類圖片的圖片特征，計算圖片特征與經(jīng)過再次更新的類別聚類中心中所有類別中心的概率，取概率最大的類別作為分類結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及AI應(yīng)用技術(shù)和圖片分類技術(shù)領(lǐng)域，并特別涉及一種基于在線域自適應(yīng)深度學(xué)習(xí)的圖片分類方法及系統(tǒng)。

背景技術(shù)

深度卷積神經(jīng)網(wǎng)絡(luò)方法基于訓(xùn)練數(shù)據(jù)集和應(yīng)用場景具有相同分布的假設(shè)。當(dāng)實際場景與訓(xùn)練數(shù)據(jù)集存在域偏移情況時，模型的性能會有較大的下降。現(xiàn)有的解決方法為使用目標(biāo)域的數(shù)據(jù)對模型進(jìn)行微調(diào)，但這種方法需要大量人工標(biāo)注的目標(biāo)域數(shù)據(jù)。無監(jiān)督域自適應(yīng)(UDA)方法使用無標(biāo)注的目標(biāo)域數(shù)據(jù)，解決域偏移導(dǎo)致的性能下降。現(xiàn)有基于聚類的無監(jiān)督域自適應(yīng)算法依靠傳統(tǒng)離線聚類方法如K-Means在目標(biāo)域中進(jìn)行聚類，并將聚類標(biāo)簽用于后續(xù)的域一致特征空間學(xué)習(xí)。

現(xiàn)有技術(shù)方法在類別相似性高且分布不均勻的情況下，負(fù)遷移情況較為嚴(yán)重，模型在目標(biāo)域性能較差；需要利用離線聚類，無法處理大規(guī)模數(shù)據(jù)。

發(fā)明內(nèi)容

本發(fā)明設(shè)計了一種基于運輸問題的在線聚類算法，形成一種利用域自適應(yīng)的深度學(xué)習(xí)執(zhí)行任務(wù)的方法及系統(tǒng)，以解決負(fù)遷移的問題。

具體來說，本發(fā)明提出了一種基于在線域自適應(yīng)深度學(xué)習(xí)的圖片分類方法，其中包括：

步驟1、通過特征提取網(wǎng)絡(luò)可分別提取源域圖片數(shù)據(jù)和目標(biāo)域圖片數(shù)據(jù)的特征，得到源域特征和目標(biāo)域特征；

步驟2、獲取類別聚類中心，基于該源域特征和該目標(biāo)域特征到該聚類中心的距離顯式表達(dá)域內(nèi)類別條件分布概率；

步驟3、通過最小化源域數(shù)據(jù)標(biāo)簽與域內(nèi)類別條件分布概率的相對熵距離，更新該特征提取網(wǎng)絡(luò)與類別聚類中心；

步驟4、通過下式求解運輸問題，得到目標(biāo)域樣本的類別分配：

式中γ^*為該類別分配，其中表示目標(biāo)域樣本與類別的聯(lián)合概率空間，q表示類別，為所有類別聚類中心，c(z^t,q)表示由樣本z^t運輸至類別q的代價，γ(z^t,q)表示在當(dāng)前運輸策略γ下由目標(biāo)域樣本z^t運輸至類別q的大小，α為樣本測度，β為類別測度β；

步驟5、通過最小化該類別分配與域內(nèi)類別條件分布概率的相對熵距離，再次更新特征提取網(wǎng)絡(luò)與聚類中心；

步驟6、將待分類圖片輸入經(jīng)過再次更新的特征提取網(wǎng)絡(luò)，得到待分類圖片的圖片特征，計算該圖片特征與經(jīng)過再次更新的類別聚類中心中所有類別中心的距離，表示該待分類圖片屬于各類別的概率，取概率最大的類別作為該待分類圖片的圖片分類結(jié)果。

所述的基于聯(lián)合聚類域自適應(yīng)的圖片分類方法，其中該步驟1包括利用該特征提取網(wǎng)絡(luò)提取源域和目標(biāo)域圖片數(shù)據(jù)的特征：

其中為輸入圖片數(shù)據(jù)，表示參數(shù)為θ_R的神經(jīng)網(wǎng)絡(luò)，表示輸出特征。

所述的基于聯(lián)合聚類域自適應(yīng)的圖片分類方法，其中該步驟2包括：