[發(fā)明專利]基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910272826.6
• 申請日: 2019-04-04
• 公開（公告）號: CN109978074A
• 公開（公告）日: 2019-07-05
• 發(fā)明（設(shè)計(jì)）人: 崔超然;余俊;楊文雅
• 申請（專利權(quán)）人: 山東財(cái)經(jīng)大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張慶騫

本公開提供了一種基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類方法及系統(tǒng)。其中，該聯(lián)合分類方法包括：標(biāo)注圖像對應(yīng)的美感類別和情感類別，形成訓(xùn)練數(shù)據(jù)集；構(gòu)造包含跨分支連接層和兩個并行網(wǎng)絡(luò)分支的深度卷積神經(jīng)網(wǎng)絡(luò)；利用訓(xùn)練數(shù)據(jù)集來訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，直至預(yù)定義損失函數(shù)達(dá)到最小；利用訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)輸出給定圖像屬于各美感類別和各情感類別的概率，選取美感類別和情感類別中概率最大的類別分別作為給定圖像的預(yù)測美感類別和情感類別。

技術(shù)領(lǐng)域

本公開屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類方法及系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提供了與本公開相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

伴隨計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，人們不僅希望計(jì)算機(jī)能夠在語義層面對圖像的內(nèi)容進(jìn)行分析，更期望計(jì)算機(jī)能夠模擬人類視覺及思維系統(tǒng)，產(chǎn)生更高層次的感知能力。作為感知理解研究中的兩項(xiàng)代表性任務(wù)，圖像的美感分類和情感分類分別旨在使計(jì)算機(jī)可以辨認(rèn)人類由受到圖像視覺刺激而產(chǎn)生的審美和情感反應(yīng)。目前，圖像的美感分類和情感分類技術(shù)已經(jīng)被應(yīng)用在圖像的存儲、編輯、檢索等方面。例如，針對用戶拍攝的關(guān)于同一物體或場景的多張候選照片，篩選最具美感的作品保存和展示，合理地降低數(shù)據(jù)的存儲開銷；在圖像作品的創(chuàng)作和編輯中，分析對比候選方案的美學(xué)質(zhì)量，提升作品的視覺美感；在圖像檢索系統(tǒng)中，考慮返回圖像的情感傾向，為用戶提供語義準(zhǔn)確且更有感染力的檢索結(jié)果。

由于圖像內(nèi)容的多樣性和人類感知的復(fù)雜性，自動實(shí)現(xiàn)對圖像的美感分類和情感分類是非常具有挑戰(zhàn)性的任務(wù)。近年來，得益于帶有美感標(biāo)記和情感標(biāo)記的大規(guī)模圖像數(shù)據(jù)集的出現(xiàn)，基于機(jī)器學(xué)習(xí)的方法被廣泛采用。方法的核心步驟是提取在分類任務(wù)上具有良好區(qū)分能力的圖像視覺特征。早期的方法主要依賴人工設(shè)計(jì)的特征，需要研究者對問題本身有深入的了解。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的興起，近期的方法主要利用卷積神經(jīng)網(wǎng)絡(luò)自動地抽取特征用于圖像美感和情感分類，并獲得了較好的效果。

發(fā)明人發(fā)現(xiàn)，現(xiàn)有技術(shù)通常將圖像的美感分類和情感分類當(dāng)作兩個相互獨(dú)立的任務(wù)。但直覺上，人類的美感感受和情感感受并不是孤立出現(xiàn)的；相反，在心理認(rèn)知層面上，它們應(yīng)是相互關(guān)聯(lián)和相互影響的。例如，如果一幅圖像能夠使人們獲得審美上的愉悅，那它也很有可能會喚起觀察者的積極情感。神經(jīng)科學(xué)領(lǐng)域的研究也證明，人類的審美體驗(yàn)是一種伴隨著情感狀態(tài)不斷升級的認(rèn)知過程，反之亦然。

發(fā)明內(nèi)容

為了解決上述問題，本公開的第一個方面提供一種基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類方法，其通過統(tǒng)一的深度卷積神經(jīng)網(wǎng)絡(luò)框架，使兩個任務(wù)之間可以有效地共享信息，實(shí)現(xiàn)對圖像的美感類別和情感類別聯(lián)合識別以及識別準(zhǔn)確性和效率。

為了實(shí)現(xiàn)上述目的，本公開采用如下技術(shù)方案：

一種基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類方法，包括：

標(biāo)注圖像對應(yīng)的美感類別和情感類別，形成訓(xùn)練數(shù)據(jù)集；

構(gòu)造包含跨分支連接層和兩個并行網(wǎng)絡(luò)分支的深度卷積神經(jīng)網(wǎng)絡(luò)；

其中，兩個網(wǎng)絡(luò)分支分別負(fù)責(zé)對輸入圖像進(jìn)行美感分類和情感分類；跨分支連接層用于連接兩個網(wǎng)絡(luò)分支中對應(yīng)的卷積層組，以關(guān)聯(lián)美感分類和情感分類這兩個任務(wù)；深度卷積神經(jīng)網(wǎng)絡(luò)的輸出代表輸入圖像屬于各美感類別和各情感類別的概率；

利用訓(xùn)練數(shù)據(jù)集來訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，直至預(yù)定義損失函數(shù)達(dá)到最小；

利用訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)輸出給定圖像屬于各美感類別和各情感類別的概率，選取美感類別和情感類別中概率最大的類別分別作為給定圖像的預(yù)測美感類別和情感類別。