[發(fā)明專利]圖像的多標(biāo)簽類別預(yù)測(cè)方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810763572.3
• 申請(qǐng)日: 2018-07-12
• 公開（公告）號(hào): CN109034219B
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 劉永成;邵婧;閆俊杰;王曉剛
• 申請(qǐng)（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/08
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種圖像的多標(biāo)簽類別預(yù)測(cè)方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，所述方法包括：根據(jù)蒸餾特征對(duì)待預(yù)測(cè)圖像進(jìn)行特征提取，得到待預(yù)測(cè)圖像的蒸餾特征信息，蒸餾特征包括從弱監(jiān)督檢測(cè)模型進(jìn)行知識(shí)蒸餾后得到的特征，弱監(jiān)督檢測(cè)模型用于對(duì)圖像進(jìn)行類別檢測(cè)；對(duì)蒸餾特征信息進(jìn)行類別預(yù)測(cè)處理，得到待預(yù)測(cè)圖像的類別預(yù)測(cè)置信度；根據(jù)待預(yù)測(cè)圖像的類別預(yù)測(cè)置信度確定待預(yù)測(cè)圖像的類別預(yù)測(cè)結(jié)果。本公開實(shí)施例可以實(shí)現(xiàn)特征級(jí)別的蒸餾，能夠使用從弱監(jiān)督檢測(cè)模型進(jìn)行知識(shí)蒸餾后得到的蒸餾特征，對(duì)待預(yù)測(cè)圖像進(jìn)行特征提取，使得待預(yù)測(cè)圖像的類別預(yù)測(cè)過(guò)程更加高效、類別預(yù)測(cè)結(jié)果更加準(zhǔn)確。

技術(shù)領(lǐng)域

本公開涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像的多標(biāo)簽類別預(yù)測(cè)方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

在對(duì)圖像進(jìn)行多標(biāo)簽類別預(yù)測(cè)時(shí)，可以利用模型進(jìn)行預(yù)測(cè)。由于多標(biāo)簽圖像自身包含多樣化的語(yǔ)義信息，需要多個(gè)類別進(jìn)行描述，類別的個(gè)數(shù)不確定，導(dǎo)致模型需要對(duì)圖像有深入的理解。且各類別之間存在關(guān)聯(lián)性，類別之間的關(guān)聯(lián)性對(duì)于預(yù)測(cè)結(jié)果有重大影響，但類別之間的關(guān)聯(lián)性很難進(jìn)行自適應(yīng)的建模，導(dǎo)致傳統(tǒng)的利用模型對(duì)圖像進(jìn)行多標(biāo)簽類別預(yù)測(cè)方法，模型缺乏自適應(yīng)性、模型復(fù)雜程度高，需要借助人工對(duì)圖像的標(biāo)簽類別之間的關(guān)系進(jìn)行預(yù)先定義。

發(fā)明內(nèi)容

有鑒于此，本公開提出了一種圖像的多標(biāo)簽類別預(yù)測(cè)技術(shù)方案。

在本公開實(shí)施例的一方面，提供一種圖像的多標(biāo)簽類別預(yù)測(cè)方法，所述方法包括：

根據(jù)蒸餾特征對(duì)待預(yù)測(cè)圖像進(jìn)行特征提取，得到所述待預(yù)測(cè)圖像的蒸餾特征信息，所述蒸餾特征包括從弱監(jiān)督檢測(cè)模型進(jìn)行知識(shí)蒸餾后得到的特征，所述弱監(jiān)督檢測(cè)模型用于對(duì)圖像進(jìn)行類別檢測(cè)；

對(duì)所述蒸餾特征信息進(jìn)行類別預(yù)測(cè)處理，得到所述待預(yù)測(cè)圖像的類別預(yù)測(cè)置信度；

根據(jù)所述待預(yù)測(cè)圖像的類別預(yù)測(cè)置信度確定所述待預(yù)測(cè)圖像的類別預(yù)測(cè)結(jié)果。

在一種可能的實(shí)現(xiàn)方式中，對(duì)所述蒸餾特征信息進(jìn)行類別預(yù)測(cè)處理，得到所述待預(yù)測(cè)圖像的類別預(yù)測(cè)置信度，包括：

根據(jù)蒸餾類別預(yù)測(cè)結(jié)果對(duì)所述蒸餾特征信息進(jìn)行類別預(yù)測(cè)處理，得到所述待預(yù)測(cè)圖像的類別預(yù)測(cè)置信度，所述蒸餾類別預(yù)測(cè)結(jié)果包括從所述弱監(jiān)督檢測(cè)模型進(jìn)行知識(shí)蒸餾后得到的類別預(yù)測(cè)結(jié)果。

在一種可能的實(shí)現(xiàn)方式中，所述方法應(yīng)用于分類模型，所述分類模型的訓(xùn)練方法包括：

根據(jù)所述弱監(jiān)督檢測(cè)模型對(duì)所述分類模型進(jìn)行訓(xùn)練。

在一種可能的實(shí)現(xiàn)方式中，所述分類模型的訓(xùn)練方法，包括：

將第一樣本圖像輸入所述分類模型進(jìn)行第一特征提取，得到所述第一樣本圖像的第一特征信息；

將所述第一樣本圖像輸入所述弱監(jiān)督檢測(cè)模型進(jìn)行第二特征提取，得到所述第一樣本圖像的第二特征信息；

根據(jù)所述第一特征信息和所述第二特征信息確定所述分類模型的特征損失函數(shù)；

根據(jù)所述特征損失函數(shù)，對(duì)所述分類模型進(jìn)行反向傳播。

在一種可能的實(shí)現(xiàn)方式中，所述分類模型的訓(xùn)練方法，包括：

在所述分類模型中，將所述第一特征信息進(jìn)行類別預(yù)測(cè)處理，得到所述第一樣本圖像的第一類別預(yù)測(cè)置信度；

在所述弱監(jiān)督檢測(cè)模型中，將所述第二特征信息進(jìn)行類別預(yù)測(cè)處理，得到所述第一樣本圖像的第二類別預(yù)測(cè)置信度；

根據(jù)所述第一類別預(yù)測(cè)置信度和所述第二類別預(yù)測(cè)置信度，確定所述分類模型的類別預(yù)測(cè)損失函數(shù)；

根據(jù)所述類別預(yù)測(cè)損失函數(shù)對(duì)所述分類模型進(jìn)行反向傳播。