[發明專利]一種基于注意力機制的多屬性圖像美學評價系統

有效

• 申請號: 201811356677.3
• 申請日: 2018-11-15
• 公開（公告）號: CN109544524B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 金鑫;吳樂;章樂;趙耿;李曉東;周興暉;孫紅波
• 申請（專利權）人: 中共中央辦公廳電子科技學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/045;G06N3/0464;G06N3/084
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

1.一種基于注意力機制的多屬性圖像美學評價系統，其特征在于，包括：數據集采集和圖像預處理模塊、多屬性特征神經網絡模塊、通道和空間注意力模塊、語言生成模塊；

數據集采集模塊：從攝影網站獲取圖像數據、圖像打分和評論文本信息數據，并對獲取的文本評論信息進行分類，構建出帶屬性信息的數據集；

圖像預處理模塊：對于采集數據按9：1的比例劃分訓練集和測試集，對訓練集中的樣本圖像進行預處理，所述預處理包括圖像大小變換和圖像歸一化，得到一個圖像像素大小一致的輸入數據，送入多屬性特征提取網絡模塊提取多屬性特征；

多屬性特征神經網絡模塊：通過多任務分支結構對圖像打分進行回歸計算，得到圖像的多屬性特征向量，此模塊得到的特征向量是對輸入的特征提取，是對下一模塊的初始處理；

通道和空間注意力模塊：對圖像的多屬性特征中不同的屬性特征分別在通道和空間維度上，進行注意力權重動態分配操作，得到最后的多屬性注意力特征；

語言生成模塊：將分類好的文本評論信息按類別送入長短時記憶單元LSTM中生成最后的對應文本評論分類屬性的評價，長短時記憶單元LSTM同時調用多屬性注意力特征，將這些特征和對應文本處理的向量進行編碼，送入長短時記憶單元LSTM中產生最后的不同屬性的評論結果；

所述通道和空間注意力模塊具體實現如下：

(1)通道和空間注意力模塊分為兩個部分，前一部分接受不同屬性的特征圖，計算通道注意力向量，計算方法是對每個通道設置權重系數，通過反向傳播進行學習，得到通道上權重向量，通過這個權重向量調整網絡通道對網絡的影響；

(2)第二部分處理空間上權重矩陣，通過反向傳播進行學習，得到空間上的權重矩陣，通過這個權重矩陣與每通道的權重點乘，最終影響網絡在空間上的輸出；

(3)網絡經過多次通道和空間注意力神經網絡模塊，將最后的輸出張量輸入后面的部分進行處理。

2.根據權利要求1所述的一種基于注意力機制的多屬性圖像美學評價系統，其特征在于：所述數據集采集模塊具體實現如下：

(11)從網站獲取到編號靠前的33萬張圖像，并且保存每個圖像評論者的評論信息；

(12)搜集專業的美學數據集，參考其中的分類標準，將評論分類為5個屬性，分別為用色和用光評價，構圖評價，景深和聚焦評價，印象和主題評價，相機技巧評價；

(13)通過對專業數據集的詞頻排序，取前5的名詞對文本評論進行篩選，如果評論中包含排名前5名詞中的任意一個，則將該評論歸為該類別，構建出帶屬性信息的數據集。

3.根據權利要求1所述的一種基于注意力機制的多屬性圖像美學評價系統，其特征在于：所述圖像預處理模塊具體實現如下：

(21)將整理后的訓練集中的圖像按照不同的屬性根據預訓練網絡的結果制作標簽數據；

(22)標簽對應圖像也需要進行處理，將訓練集中原始圖像進行大小變換，將原始圖像的像素大小變換到一個固定尺寸，這個固定尺寸和設計的深度卷積神經網絡所要求的輸入大小一致；

(23)將訓練集中原始圖像歸一化，首先統計出訓練集中的樣本圖像的均值，然后對每一個樣本圖像做去均值操作，得到處理好準備訓練的數據。

4.根據權利要求1所述的一種基于注意力機制的多屬性圖像美學評價系統，其特征在于：所述多屬性特征神經網絡模塊具體實現如下：

(31)預處理操作后，將處理好準備訓練的圖像送入多屬性特征神經網絡中進行預測，預測網絡權重參數來自于預訓練網絡，預訓練網絡與多屬性回歸網絡結構相同；

(32)多屬性特征提取網絡共包含全局分數回歸和5種部分屬性的分數回歸，5種部分屬性分別對應圖像的用色和用光分數，構圖分數，景深和聚焦分數，印象和主題分數，相機使用技巧分數，代表圖像的用色和用光評價，構圖評價，景深和聚焦評價，印象和主題評價，相機技巧評價；

(33)網絡訓練采用隨機梯度下降法SGD進行參數優化，損失函數公式如下所示，

attribute代表屬性，global代表全局，N代表網絡訓練一個批次的圖片數，代表預測出的分數，yⁱ代表真實分數，m代表屬性的數量。