[發明專利]一種基于深度度量學習的圖像情感分類與檢索算法

有效

• 申請號: 201810173303.1
• 申請日: 2018-03-02
• 公開（公告）號: CN108427740B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 楊巨峰;程明明;折棟宇;王愷
• 申請（專利權）人: 南開大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 張耀

1.一種基于深度度量學習的圖像情感分類與檢索方法，其特征在于，該方法包含如下步驟：

a.用戶輸入一張任意大小的圖像，輸入到卷積神經網絡中，系統輸出圖像的情感類別，并獲得情感向量用于圖像檢索；

b.此卷積神經網絡利用全部的卷積層的gram矩陣來獲得圖像中豐富的紋理特征，并作為圖像情感檢索的嵌入特征；

c.此卷積神經網絡使用基于三元約束的情感約束計算得到相似度損失，將情感類別之間的極性關系考慮到訓練過程中，即輸入圖像在特征空間中與所有相同類別的圖像距離比其他具有相同極性情感的圖像近，而與具有相反極性情感的圖像距離最遠；

d.此卷積神經網絡結合分類損失及相似度損失兩種損失為總損失，用于同時優化分類及檢索兩種任務；

卷積神經網絡是由兩個分支組成，兩個分支共享網絡卷積層，第一個分支使用全連接層映射為預測的情感類別，并計算softmax損失函數，用于分類；第二個分支將所有的卷積層gram矩陣連接到一起作為情感向量SV，以充分利用紋理特征并通過情感約束計算相似度損失函數，用于檢索任務；對于輸入樣本a，隨機從送入的訓練樣本集中選取具有相同情感類別的樣本p，具有相同極性但不同情感類別的樣本r，及具有相反情感極性的樣本n，則情感約束可表示為：

其中，α₁及α₂為控制不同情感標簽間的遠近的閾值，D(·，·)為兩個樣本間情感向量SV的歐式距離。

2.根據權利要求1所述的基于深度度量學習的圖像情感分類與檢索方法，其特征在于：通過情感約束條件計算得到相似度損失函數，該約束基于三元約束，保證輸入圖像在特征空間中與所有相同類別的圖像距離比其他具有相同極性情感的圖像近，而與具有相反極性情感的圖像距離最遠，在情感數據集上訓練此卷積神經網絡，得到用于分類及檢索的卷積神經網絡模型。