[發(fā)明專利]一種基于平均損失和逐類(lèi)選擇的弱監(jiān)督圖片分類(lèi)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110399477.1
• 申請(qǐng)日: 2021-04-14
• 公開(kāi)（公告）號(hào): CN113283467B
• 公開(kāi)（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 王魏;桂賢進(jìn)
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類(lèi)號(hào): G06V10/774
• 分類(lèi)號(hào): G06V10/774;G06V10/764;G06V10/82;G06N3/04
• 代理公司: 南京樂(lè)羽知行專利代理事務(wù)所(普通合伙) 32326
• 代理人: 李玉平

1.一種基于平均損失和逐類(lèi)選擇的弱監(jiān)督圖片分類(lèi)方法，其特征在于，包括如下內(nèi)容：

首先，建立一個(gè)帶有噪聲標(biāo)記圖片數(shù)據(jù)庫(kù)作為訓(xùn)練數(shù)據(jù)集；

接著，選定一種深度神經(jīng)網(wǎng)絡(luò)模型作為圖片分類(lèi)器模型，使用該模型利用隨機(jī)梯度下降算法在訓(xùn)練數(shù)據(jù)集上訓(xùn)練預(yù)定的輪數(shù)，并記錄每一輪結(jié)束時(shí)每個(gè)樣例的損失值大??；基于依據(jù)樣例的平均損失從帶噪圖片數(shù)據(jù)中逐類(lèi)選擇出低風(fēng)險(xiǎn)圖片數(shù)據(jù)，同時(shí)把未被選中的圖片數(shù)據(jù)視為未標(biāo)記圖片數(shù)據(jù)；

接下來(lái)，基于MixMatch技術(shù)對(duì)低風(fēng)險(xiǎn)圖片數(shù)據(jù)和未標(biāo)記圖片數(shù)據(jù)進(jìn)行混合生成新的偽標(biāo)記圖片數(shù)據(jù)擴(kuò)充訓(xùn)練集；在圖片數(shù)據(jù)混合的過(guò)程中，基于樣例的平均損失值對(duì)低風(fēng)險(xiǎn)圖片數(shù)據(jù)設(shè)置權(quán)值并進(jìn)行加權(quán)重采樣；

接下來(lái)，在新生成的偽標(biāo)記圖片數(shù)據(jù)集上，通過(guò)隨機(jī)梯度下降算法重新進(jìn)行深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，直到網(wǎng)絡(luò)收斂；最后在預(yù)測(cè)階段，用戶將待測(cè)圖片輸入給深度神經(jīng)網(wǎng)絡(luò)模型，模型返回該圖片屬于每個(gè)類(lèi)別的概率并輸出對(duì)應(yīng)概率值最高的那個(gè)類(lèi)別作為預(yù)測(cè)類(lèi)別；

所述低風(fēng)險(xiǎn)圖片數(shù)據(jù)和未標(biāo)記圖片數(shù)據(jù)選擇的過(guò)程為：

步驟200，選定一個(gè)神經(jīng)網(wǎng)絡(luò)模型作為圖片分類(lèi)器，使用該模型利用隨機(jī)梯度下降算法在訓(xùn)練集上訓(xùn)練預(yù)定的輪數(shù)T，并記錄每一輪結(jié)束時(shí)每個(gè)樣例的損失值的大小

步驟201，計(jì)算出每個(gè)樣例在訓(xùn)練過(guò)程中的平均損失值大小對(duì)每個(gè)類(lèi)別的樣本按照其平均損失值大小進(jìn)行從小到大排序；

步驟202，根據(jù)逐類(lèi)選擇技術(shù)，從圖片數(shù)據(jù)集的第i個(gè)類(lèi)別樣本中挑選出num(i)個(gè)平均損失值最小的樣本構(gòu)成數(shù)據(jù)集D_sel,其中num(i)的計(jì)算方式如下，設(shè)η_i表示第i類(lèi)樣本的噪聲率，n_i表示圖片數(shù)據(jù)集中的樣本數(shù)量，[p₁,…,p_c]表示真實(shí)的類(lèi)別分布，β和γ是兩個(gè)由用戶自行調(diào)節(jié)的超參數(shù)：

prop(i)＝max{1-(1+β)η_i，(1-β)(1-η_i)}

num(i)＝min{γ·p_i×m，prop(i)×n_i}

步驟203，對(duì)于上一步驟中未被選中的圖片數(shù)據(jù)，舍棄其標(biāo)記并將其視為未標(biāo)記圖片數(shù)據(jù)

所述偽標(biāo)記圖片數(shù)據(jù)生成步驟具體為：

步驟300，對(duì)選擇出來(lái)的圖片數(shù)據(jù)按照其平均損失值的大小賦予不同的權(quán)值權(quán)值計(jì)算公式如下：

其中代表數(shù)據(jù)集D_sel中標(biāo)記為i的樣本構(gòu)成的集合，κ是一個(gè)由用戶自行調(diào)節(jié)的超參數(shù)；

步驟301，基于MixMatch技術(shù)利用步驟202-203處理所得的低風(fēng)險(xiǎn)數(shù)據(jù)集D_sel和未標(biāo)記圖片數(shù)據(jù)集D_u生成新的偽標(biāo)記圖片數(shù)據(jù)集(L，U)＝MixMatch(D_sel，D_u)；在生成偽標(biāo)記圖片數(shù)據(jù)的過(guò)程中，首先按照每個(gè)樣例的權(quán)重對(duì)D_sel中的樣例進(jìn)行加權(quán)重采樣，然后把采樣后的數(shù)據(jù)集輸入到MixMatch算法。

2.根據(jù)權(quán)利要求1所述的基于平均損失和逐類(lèi)選擇的弱監(jiān)督圖片分類(lèi)方法，其特征在于，選定一種深度神經(jīng)網(wǎng)絡(luò)模型作為圖片分類(lèi)器模型，使用該模型利用隨機(jī)梯度下降算法在訓(xùn)練數(shù)據(jù)集上訓(xùn)練預(yù)定的輪數(shù)，并記錄每一輪結(jié)束時(shí)每個(gè)樣例的損失值大小，計(jì)算出每個(gè)樣例在訓(xùn)練過(guò)程中的平均損失值的大小，對(duì)每個(gè)類(lèi)別的樣例按照其平均損失值的大小進(jìn)行排序；根據(jù)逐類(lèi)選擇從訓(xùn)練數(shù)據(jù)集中為每個(gè)類(lèi)挑選出預(yù)設(shè)數(shù)量的平均損失最小的樣本，作為低風(fēng)險(xiǎn)圖片數(shù)據(jù)，并把剩下未被選中的樣本視為未標(biāo)記圖片數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的基于平均損失和逐類(lèi)選擇的弱監(jiān)督圖片分類(lèi)方法，其特征在于，通過(guò)眾包、網(wǎng)絡(luò)爬蟲(chóng)或者圖片搜索引擎采集帶有噪聲標(biāo)記的圖片數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集。