[發(fā)明專利]基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910272826.6
• 申請日: 2019-04-04
• 公開（公告）號: CN109978074A
• 公開（公告）日: 2019-07-05
• 發(fā)明（設(shè)計）人: 崔超然;余俊;楊文雅
• 申請（專利權(quán)）人: 山東財經(jīng)大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張慶騫

1.一種基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類方法，其特征在于，包括：

標(biāo)注圖像對應(yīng)的美感類別和情感類別，形成訓(xùn)練數(shù)據(jù)集；

構(gòu)造包含跨分支連接層和兩個并行網(wǎng)絡(luò)分支的深度卷積神經(jīng)網(wǎng)絡(luò)；

其中，兩個網(wǎng)絡(luò)分支分別負(fù)責(zé)對輸入圖像進(jìn)行美感分類和情感分類；跨分支連接層用于連接兩個網(wǎng)絡(luò)分支中對應(yīng)的卷積層組，以關(guān)聯(lián)美感分類和情感分類這兩個任務(wù)；深度卷積神經(jīng)網(wǎng)絡(luò)的輸出代表輸入圖像屬于各美感類別和各情感類別的概率；

利用訓(xùn)練數(shù)據(jù)集來訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，直至預(yù)定義損失函數(shù)達(dá)到最小；

利用訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)輸出給定圖像屬于各美感類別和各情感類別的概率，選取美感類別和情感類別中概率最大的類別分別作為給定圖像的預(yù)測美感類別和情感類別。

2.如權(quán)利要求1所述的基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類方法，其特征在于，在所述深度卷積神經(jīng)網(wǎng)絡(luò)中，兩個網(wǎng)絡(luò)分支中的卷積層組數(shù)量相同均為n；跨分支連接層的數(shù)量為n-1；第i個跨分支連接層將兩個網(wǎng)絡(luò)分支中第i個對應(yīng)的卷積層組輸出的圖像特征圖作為輸入，并將這些輸入的圖像特征圖沿著通道方向進(jìn)行堆疊，將堆疊后的圖像特征分別輸入至兩個網(wǎng)絡(luò)分支中第i+1個對應(yīng)的卷積層組；1≤i≤n-1；n為大于或等于2的正整數(shù)。

3.如權(quán)利要求2所述的基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類方法，其特征在于，每個卷積層組均包含一個最大池化層和至少兩個連續(xù)的卷積層。

4.如權(quán)利要求1所述的基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類方法，其特征在于，利用訓(xùn)練數(shù)據(jù)集來訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)的過程，包括：

統(tǒng)一訓(xùn)練數(shù)據(jù)集的所有圖像的大小尺寸；

初始化深度卷積神經(jīng)網(wǎng)絡(luò)各層的權(quán)重，預(yù)定義損失函數(shù)；

采用隨機梯度下降算法對深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，確定能使得損失函數(shù)最小的網(wǎng)絡(luò)權(quán)重；且在每次訓(xùn)練迭代時，從圖像的隨機位置處裁剪出一塊固定大小圖像塊，并以一定概率對圖像塊進(jìn)行水平翻轉(zhuǎn)。

5.一種基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類系統(tǒng)，其特征在于，包括：

訓(xùn)練數(shù)據(jù)集形成模塊，其用于標(biāo)注圖像對應(yīng)的美感類別和情感類別，形成訓(xùn)練數(shù)據(jù)集；

深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造模塊，其用于構(gòu)造包含跨分支連接層和兩個并行網(wǎng)絡(luò)分支的深度卷積神經(jīng)網(wǎng)絡(luò)；

其中，兩個網(wǎng)絡(luò)分支分別負(fù)責(zé)對輸入圖像進(jìn)行美感分類和情感分類；跨分支連接層用于連接兩個網(wǎng)絡(luò)分支中對應(yīng)的卷積層組，以關(guān)聯(lián)美感分類和情感分類這兩個任務(wù)；深度卷積神經(jīng)網(wǎng)絡(luò)的輸出代表輸入圖像屬于各美感類別和各情感類別的概率；

深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊，其用于利用訓(xùn)練數(shù)據(jù)集來訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，直至預(yù)定義損失函數(shù)達(dá)到最小；

預(yù)測分類模塊，其用于利用訓(xùn)練得到的深度卷積神經(jīng)網(wǎng)絡(luò)輸出給定圖像屬于各美感類別和各情感類別的概率，選取美感類別和情感類別中概率最大的類別分別作為給定圖像的預(yù)測美感類別和情感類別。

6.如權(quán)利要求5所述的基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類系統(tǒng)，其特征在于，在所述深度卷積神經(jīng)網(wǎng)絡(luò)中，兩個網(wǎng)絡(luò)分支中的卷積層組數(shù)量相同均為n；跨分支連接層的數(shù)量為n-1；第i個跨分支連接層將兩個網(wǎng)絡(luò)分支中第i個對應(yīng)的卷積層組輸出的圖像特征圖作為輸入，并將這些輸入的圖像特征圖沿著通道方向進(jìn)行堆疊，將堆疊后的圖像特征分別輸入至兩個網(wǎng)絡(luò)分支中第i+1個對應(yīng)的卷積層組；1≤i≤n-1；n為大于或等于2的正整數(shù)。

7.如權(quán)利要求6所述的基于深度多任務(wù)學(xué)習(xí)的圖像美感和情感聯(lián)合分類系統(tǒng)，其特征在于，每個卷積層組均包含一個最大池化層和至少兩個連續(xù)的卷積層。