[發(fā)明專(zhuān)利]圖像多標(biāo)簽分類(lèi)方法、系統(tǒng)、設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010581393.5
• 申請(qǐng)日: 2020-06-23
• 公開(kāi)（公告）號(hào): CN111897985B
• 公開(kāi)（公告）日: 2021-10-01
• 發(fā)明（設(shè)計(jì)）人: 范力宏;藺琛皓;沈超;朱炯?xì)v;王騫;李琦
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西安交通大學(xué)醫(yī)學(xué)院第一附屬醫(yī)院
• 主分類(lèi)號(hào): G06F16/55
• 分類(lèi)號(hào): G06F16/55;G06N3/04;G06N3/08
• 代理公司: 西安通大專(zhuān)利代理有限責(zé)任公司 61200
• 代理人: 李鵬威

本發(fā)明屬于圖像分類(lèi)領(lǐng)域，公開(kāi)了一種圖像多標(biāo)簽分類(lèi)方法、系統(tǒng)、設(shè)備及可讀存儲(chǔ)介質(zhì)，所述方法包括：S1：獲取待分類(lèi)的多標(biāo)簽各自對(duì)應(yīng)的原始圖像，生成樣本集；S2：獲取用于圖像多標(biāo)簽分類(lèi)的初始深度卷積神經(jīng)網(wǎng)絡(luò)，添加門(mén)激活函數(shù)層得到深度卷積神經(jīng)網(wǎng)絡(luò)；S3：通過(guò)樣本集迭代訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，得到各標(biāo)簽對(duì)應(yīng)的顯著性圖；S4：選取預(yù)設(shè)要求的標(biāo)簽對(duì)應(yīng)的顯著性圖，通過(guò)顯著性圖從對(duì)應(yīng)的原始圖像中提取目標(biāo)；S5：設(shè)置待生成圖像，將目標(biāo)區(qū)域遷移至待生成圖像上得到目標(biāo)圖像；S6：將目標(biāo)圖像添加至樣本集中，迭代S3至S5預(yù)設(shè)次數(shù)，通過(guò)最終的深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行輸入圖像的圖像多標(biāo)簽分類(lèi)。本方法有效提升圖像多標(biāo)簽分類(lèi)的精度和準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像分類(lèi)領(lǐng)域，涉及一種圖像多標(biāo)簽分類(lèi)方法、系統(tǒng)、設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

圖像多標(biāo)簽分類(lèi)問(wèn)題一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱點(diǎn)問(wèn)題，隨著人工智能技術(shù)的興起和發(fā)展，基于深度學(xué)習(xí)的圖像多標(biāo)簽分類(lèi)方法，尤其是采用深度卷積神經(jīng)網(wǎng)絡(luò)的圖像多標(biāo)簽分類(lèi)取得了重大的突破，其分類(lèi)準(zhǔn)確率遠(yuǎn)超傳統(tǒng)機(jī)器學(xué)習(xí)的方法。但是由于基于深度卷積神經(jīng)網(wǎng)絡(luò)的模型參數(shù)量巨大，結(jié)果普遍缺乏可解釋性，使得基于此方法的圖像多標(biāo)簽分類(lèi)結(jié)果不夠置信，這已成為深度學(xué)習(xí)進(jìn)一步發(fā)展和應(yīng)用的瓶頸。與此同時(shí)，真實(shí)數(shù)據(jù)還存在長(zhǎng)尾分布、多目標(biāo)物體遮擋、尺度多變等現(xiàn)象，由此帶來(lái)的數(shù)據(jù)不均衡、目標(biāo)物體特征學(xué)習(xí)困難問(wèn)題，造成了部分類(lèi)別物體的分類(lèi)準(zhǔn)確率較低，無(wú)法滿(mǎn)足真實(shí)場(chǎng)景中部署應(yīng)用的需求。

針對(duì)以上問(wèn)題，有研究者提出了圖像可解釋性定位的方法，用以對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)結(jié)果進(jìn)行可視化解釋和說(shuō)明，增強(qiáng)圖像分類(lèi)結(jié)果的可信性。然而現(xiàn)有的工作多僅提供可解釋的可視化圖像顯著性圖或類(lèi)激活圖，而很少有利用這些可解釋性的結(jié)果進(jìn)一步提升圖像多標(biāo)簽分類(lèi)的準(zhǔn)確率。研究論文《Learning Deep Features forDiscriminative Localization》[1]公開(kāi)了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)及全局平均池化(Global Average Pooling)的圖像可解釋分析及目標(biāo)特征定位的方法。研究論文《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》[2]公開(kāi)了一種基于梯度定位的深度卷積網(wǎng)絡(luò)結(jié)構(gòu)可視化可解釋性方法，該方法基于[1]，提出引入ReLU激活函數(shù)及結(jié)合梯度反向傳播原理獲得更精細(xì)的可解釋性可視化結(jié)果。以上方法都對(duì)基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)的可解釋做了分析及可視化呈現(xiàn)，但沒(méi)有利用可解釋性的結(jié)果對(duì)圖像多標(biāo)簽分類(lèi)的準(zhǔn)確率做進(jìn)一步的改進(jìn)。

綜上所述，現(xiàn)有的基于深度學(xué)習(xí)的圖像分類(lèi)中的可解釋性方法，對(duì)目標(biāo)物體的定位及描述不夠準(zhǔn)確，僅定位到目標(biāo)物體的局部非重點(diǎn)區(qū)域，或?qū)⒎悄繕?biāo)物體定位為目標(biāo)物體。現(xiàn)有的方法大多數(shù)僅給出了可解釋性的可視化顯著性圖，而沒(méi)有利用目標(biāo)物體的可解釋性對(duì)圖像多標(biāo)簽分類(lèi)效果做進(jìn)一步的改善和提升。真實(shí)圖像數(shù)據(jù)存在數(shù)據(jù)長(zhǎng)尾分布(少見(jiàn)類(lèi)別數(shù)據(jù)不足)、目標(biāo)物體遮擋、尺度多變等特點(diǎn)，現(xiàn)有的方法多采用通用性的數(shù)據(jù)增廣的方式解決數(shù)據(jù)不足的問(wèn)題，而沒(méi)有針對(duì)少樣本數(shù)據(jù)、遮擋數(shù)據(jù)、分類(lèi)效果差的類(lèi)別設(shè)計(jì)專(zhuān)門(mén)的方法，這也一定程度上使得某些類(lèi)別的圖像多標(biāo)簽分類(lèi)精度不夠高。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)中圖像多標(biāo)簽分類(lèi)精度不夠高、準(zhǔn)確率低的缺點(diǎn)，提供一種圖像多標(biāo)簽分類(lèi)方法、系統(tǒng)、設(shè)備及可讀存儲(chǔ)介質(zhì)。

為達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案予以實(shí)現(xiàn)：

本發(fā)明第一方面，一種圖像多標(biāo)簽分類(lèi)方法，包括以下步驟：

S1：獲取待分類(lèi)的多標(biāo)簽各自對(duì)應(yīng)的原始圖像，生成樣本集；

S2：獲取用于圖像多標(biāo)簽分類(lèi)的初始深度卷積神經(jīng)網(wǎng)絡(luò)；在初始深度卷積神經(jīng)網(wǎng)絡(luò)內(nèi)添加門(mén)激活函數(shù)層得到深度卷積神經(jīng)網(wǎng)絡(luò)；

S3：通過(guò)樣本集迭代訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，得到各標(biāo)簽對(duì)應(yīng)的顯著性圖；