[發(fā)明專利]基于圖像屬性主動(dòng)學(xué)習(xí)的細(xì)粒度圖像分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011325873.1
• 申請(qǐng)日: 2020-11-23
• 公開（公告）號(hào): CN112528058B
• 公開（公告）日: 2022-09-02
• 發(fā)明（設(shè)計(jì)）人: 宋凌云;彭?xiàng)盍?/a>;李偉;尚學(xué)群;俞夢(mèng)真;李建鰲;李戰(zhàn)懷;賀夢(mèng)婷
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G06F16/55
• 分類號(hào): G06F16/55;G06N3/04;G06N3/08
• 代理公司: 西安凱多思知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61290
• 代理人: 云燕春

本發(fā)明提出一種基于圖像屬性主動(dòng)學(xué)習(xí)的細(xì)粒度圖像分類方法，該方法包括三個(gè)模塊:1)多基于全卷積網(wǎng)絡(luò)和VGG?16的屬性特征篩選模塊、基于屬性的圖像分類模塊、基于主動(dòng)學(xué)習(xí)的圖片選擇模塊。相比現(xiàn)有的細(xì)粒度分類模型，本方法融入了主動(dòng)學(xué)習(xí)的思想，可適用于小樣本數(shù)據(jù)集，且無需局部注釋信息。引入目標(biāo)的屬性信息，以此來彌補(bǔ)視覺信息和語義注釋之間的鴻溝，使模型具有可解釋性，同時(shí)屬性特征與視覺特征的融合使得模型具有良好的分類預(yù)測結(jié)果。本發(fā)明的貢獻(xiàn)在于：①選擇特定的視覺特征以預(yù)測不同的視覺屬性。②基于視覺屬性在不同細(xì)粒度類別之間的區(qū)別，將其作為中間層次的語義特征，彌補(bǔ)了分類時(shí)的語義鴻溝。③通過模仿人類專家根據(jù)屬性對(duì)具有視覺相似性的目標(biāo)進(jìn)行辨別時(shí)的方法，使模型具有可解釋性，在有限數(shù)量的標(biāo)記數(shù)據(jù)上提高了細(xì)粒度的分類性能。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)應(yīng)用領(lǐng)域、計(jì)算機(jī)視覺、圖像處理、細(xì)粒度圖像分類研究，特別涉及一種弱監(jiān)督的基于屬性的可解釋性的細(xì)粒度分類模型。

背景技術(shù)

近十年來，隨著大規(guī)模標(biāo)注數(shù)據(jù)集的出現(xiàn)以及復(fù)雜模型結(jié)構(gòu)被不斷地提出，圖像分類工作已取得了不錯(cuò)的進(jìn)展。然而，細(xì)粒度圖像分類(Fine-grained ImageClassification)仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。細(xì)粒度分類通常是指從視覺上看上去較為相似的超類別(如鳥類、飛機(jī)、汽車等)中識(shí)別出具有局部細(xì)微差異的子類別。該領(lǐng)域現(xiàn)有的分類方法大多依賴于附加的語義注釋(如鳥的頭部和兩翼等)，通過訓(xùn)練一個(gè)定位子網(wǎng)使得模型能準(zhǔn)確的定位到具有區(qū)別性的局部區(qū)域中，再訓(xùn)練一個(gè)分類網(wǎng)絡(luò)以學(xué)習(xí)局部區(qū)域的特征，以此作為依據(jù)對(duì)細(xì)粒度級(jí)別的子類進(jìn)行區(qū)分。這些方法帶來了三個(gè)主要的缺點(diǎn)：①帶有語義注釋的局部定位信息收集成本較高，每張樣例圖片都需要標(biāo)注一個(gè)或多個(gè)局部區(qū)域的邊界框，對(duì)人力資源的要求較高，且人工結(jié)果難免出現(xiàn)誤差；②兩個(gè)子網(wǎng)絡(luò)的目的具有細(xì)微的沖突，定位子網(wǎng)要求語義部分能在各個(gè)超類中共享，即每類鳥的頭部或兩翼要具有較高的相似性，這樣才能準(zhǔn)確的定位到具體的局部區(qū)域，而分類網(wǎng)絡(luò)依賴局部信息的差別對(duì)子類別進(jìn)行區(qū)分，這意味著局部區(qū)域應(yīng)該具有較高的差異性，這種細(xì)微的沖突使得模型在兩個(gè)子網(wǎng)之間權(quán)衡，可能會(huì)降低單個(gè)網(wǎng)絡(luò)的性能；③這些方法不具有可解釋性，對(duì)預(yù)測的分類結(jié)果無法提供相應(yīng)的依據(jù)。

為了解決上述問題，我們提出了一種基于圖像屬性主動(dòng)學(xué)習(xí)的細(xì)粒度圖像分類方法。這種方法基于視覺屬性在不同細(xì)粒度類別之間的區(qū)別，可以將其作為中間層次的語義特征，以彌補(bǔ)語義鴻溝，并具有可解釋性；它可以選擇特定的視覺特征以預(yù)測不同的視覺屬性；它通過模仿人類專家根據(jù)屬性對(duì)具有視覺相似性目標(biāo)進(jìn)行辨別的方式，在有限數(shù)量的標(biāo)記數(shù)據(jù)上提高了細(xì)粒度的分類性能。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的不足以及存在的問題，本發(fā)明提出了一種基于圖像屬性主動(dòng)學(xué)習(xí)的細(xì)粒度圖像分類方法，本方法融入了主動(dòng)學(xué)習(xí)的思想，可適用于小樣本數(shù)據(jù)集，且無需局部注釋信息。引入目標(biāo)的屬性信息，以此來彌補(bǔ)視覺信息和語義注釋之間的鴻溝，使模型具有可解釋性，對(duì)不同的細(xì)粒度類別關(guān)注不同的屬性信息，更符合人類專家辨別時(shí)的判斷標(biāo)準(zhǔn)，同時(shí)屬性特征與視覺特征的融合使得模型具有良好的分類預(yù)測結(jié)果。

本發(fā)明通過以下技術(shù)方案來實(shí)現(xiàn)：

步驟1，圖像分類數(shù)據(jù)處理：

步驟1.1，屬性預(yù)處理，將屬性信息進(jìn)行按類統(tǒng)計(jì)，刪除其中出現(xiàn)頻率小于20％的屬性，對(duì)所得屬性進(jìn)行類別的合并，共得到N個(gè)屬性分組；

步驟1.2，圖像預(yù)處理，將圖像隨機(jī)翻轉(zhuǎn)和裁剪為224×224×3的尺寸；

步驟2，提取和篩選圖像屬性特征：

步驟2.1，圖像視覺特征提取：采用預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)對(duì)原始圖像進(jìn)行特征提取，取VGG-16網(wǎng)絡(luò)第四個(gè)卷積塊的輸出(尺寸為28×28×512)作為圖像的特征；

步驟2.2，生成屬性掩模：使用預(yù)訓(xùn)練的全卷積網(wǎng)絡(luò)得到224×224×N的分?jǐn)?shù)矩陣，使用區(qū)域插值法將該矩陣尺寸縮小為28×28×N作為每組屬性的權(quán)重，其中N表示屬性組的個(gè)數(shù)；