[發(fā)明專利]一種圖像標(biāo)簽標(biāo)注方法、系統(tǒng)、設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810178640.X
• 申請(qǐng)日: 2018-03-05
• 公開(kāi)（公告）號(hào): CN108416384B
• 公開(kāi)（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 吳新建;張莉;李凡長(zhǎng);王邦軍;張召;梁合蘭
• 申請(qǐng)（專利權(quán)）人: 蘇州大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

本發(fā)明實(shí)施例公開(kāi)了一種圖像標(biāo)簽標(biāo)注方法、系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。其中，方法包括將訓(xùn)練樣本集和待標(biāo)注圖像輸入卷積神經(jīng)網(wǎng)絡(luò)中，卷積神經(jīng)網(wǎng)絡(luò)為被訓(xùn)練樣本集采用反向傳播算法最小化交叉熵?fù)p失函數(shù)，以調(diào)整卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重進(jìn)行訓(xùn)練，并將訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重進(jìn)行重新加載，以提取訓(xùn)練樣本集的樣本網(wǎng)絡(luò)特征集和待標(biāo)注圖像的測(cè)試網(wǎng)絡(luò)特征集；根據(jù)樣本網(wǎng)絡(luò)特征集、測(cè)試網(wǎng)絡(luò)特征集及標(biāo)簽集合，計(jì)算待標(biāo)注圖像屬于標(biāo)簽集合中每類標(biāo)簽的概率，生成標(biāo)簽概率集；最后根據(jù)標(biāo)簽概率集，為待標(biāo)注圖像的進(jìn)行標(biāo)簽標(biāo)注。本申請(qǐng)?zhí)峁┑募夹g(shù)方案結(jié)合深度學(xué)習(xí)和標(biāo)簽傳播算法，自動(dòng)提取圖像高層語(yǔ)義特征，從而提升了圖像標(biāo)注的效率和準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及領(lǐng)域，特別是涉及一種圖像標(biāo)簽標(biāo)注方法、系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展，圖像處理技術(shù)也得到相應(yīng)的發(fā)展。圖像標(biāo)注為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要并且具有挑戰(zhàn)性的課題，圖像標(biāo)注為讓計(jì)算機(jī)自動(dòng)地給無(wú)標(biāo)注的圖像加上能夠反映圖像內(nèi)容的語(yǔ)義關(guān)鍵詞的一種技術(shù)。圖像標(biāo)注利用已標(biāo)注圖像集或其他可獲得的信息自動(dòng)地學(xué)習(xí)語(yǔ)義概念空間與視覺(jué)特征空間的關(guān)系模型，并用此模型標(biāo)注未知語(yǔ)義的圖像。

圖像標(biāo)注試圖在圖像的高層語(yǔ)義信息和低層特征之間建立一種映射關(guān)系，因此在一定程度上可以解決“語(yǔ)義鴻溝”問(wèn)題。圖像標(biāo)注在圖像檢索研究領(lǐng)域中非常具有挑戰(zhàn)性的工作，是實(shí)現(xiàn)圖像語(yǔ)義檢索的關(guān)鍵。實(shí)現(xiàn)圖像標(biāo)注，則圖像檢索問(wèn)題就可以轉(zhuǎn)化為相當(dāng)成熟的文本檢索問(wèn)題。圖像標(biāo)注涉及計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)、信息檢索等多方面的內(nèi)容，具有很強(qiáng)的研究?jī)r(jià)值和潛在的商業(yè)應(yīng)用。

現(xiàn)有的圖像標(biāo)注技術(shù)，如基于最近鄰的模型，其中比較流行的有JEC模型、TagProp和2PKNN。但是，采用上述圖像標(biāo)注方法，需要花費(fèi)大量的時(shí)間去進(jìn)行人工選取特征，耗時(shí)耗力，并且會(huì)忽略語(yǔ)義近鄰，造成視覺(jué)相似但是語(yǔ)義不相似的情況，影響圖像標(biāo)注效果。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的是提供一種圖像標(biāo)簽標(biāo)注方法、系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，提升了圖像標(biāo)注標(biāo)簽的效率和準(zhǔn)確率。

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供以下技術(shù)方案：

本發(fā)明實(shí)施例一方面提供了一種圖像標(biāo)簽標(biāo)注方法，包括：

獲取訓(xùn)練樣本集、待標(biāo)注圖像和預(yù)先存儲(chǔ)的標(biāo)簽集合；

將所述訓(xùn)練樣本集和所述待標(biāo)注圖像，輸入卷積神經(jīng)網(wǎng)絡(luò)中，提取所述訓(xùn)練樣本集的樣本網(wǎng)絡(luò)特征集和所述待標(biāo)注圖像的測(cè)試網(wǎng)絡(luò)特征集；

根據(jù)所述樣本網(wǎng)絡(luò)特征集、所述測(cè)試網(wǎng)絡(luò)特征集及所述標(biāo)簽集合，計(jì)算所述待標(biāo)注圖像屬于所述標(biāo)簽集合中每類標(biāo)簽的概率，生成標(biāo)簽概率集；

根據(jù)所述標(biāo)簽概率集，為所述待標(biāo)注圖像的進(jìn)行標(biāo)簽標(biāo)注；

其中，所述卷積神經(jīng)網(wǎng)絡(luò)為被所述訓(xùn)練樣本集采用反向傳播算法最小化交叉熵?fù)p失函數(shù)，以調(diào)整所述卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重進(jìn)行訓(xùn)練，并將訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重進(jìn)行重新加載。

可選的，所述根據(jù)所述樣本網(wǎng)絡(luò)特征集、所述測(cè)試網(wǎng)絡(luò)特征集及所述標(biāo)簽集合，計(jì)算所述待標(biāo)注圖像屬于所述標(biāo)簽集合中每類標(biāo)簽的概率包括：

利用下述公式(1)計(jì)算所述待標(biāo)注圖像屬于所述標(biāo)簽集合中每類標(biāo)簽的概率：

式中，

x_i為所述樣本網(wǎng)絡(luò)特征集中的元素；x為所述測(cè)試網(wǎng)絡(luò)特征集的元素；所述待標(biāo)注圖像屬于j類標(biāo)簽，則y_j＝+1；π_i為所述訓(xùn)練樣本集中各樣本圖像預(yù)測(cè)所述待標(biāo)注圖像的權(quán)重；N為所述訓(xùn)練樣本集中包含樣本圖像的個(gè)數(shù)；d(x,x_i)為各樣本圖像與所述待標(biāo)注圖像的歐式距離，h_i為調(diào)整參數(shù)；