[發明專利]一種圖像美學質量評價方法

有效

• 申請號: 201910703756.5
• 申請日: 2019-07-31
• 公開（公告）號: CN110443788B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 楊嘉琛;門垚
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/774;G06V10/764
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

本發明涉及一種無需訓練的圖像美學質量評價方法，包括下列步驟：第一步：由原始彩色圖像得到全局視圖；第二步：由原始彩色圖像得到局部視圖；第三步：提取特征，分別從全局視圖和局部視圖中提取特征。方法如下：仍然選擇ResNet?50網絡為基準網絡；保留ResNet?50基準網絡從開始到“avg_pool”層不變，得到特征提取網絡；將全局視圖輸入特征提取網絡，得到全局特征；將局部視圖輸入特征提取網絡，得到局部特征；第四步：美學質量評價：采用二分類的方法進行美學評價，即將被評價圖像分為“美的圖像”和“丑的圖像”。

技術領域

本發明涉及圖像美學質量評價領域。

背景技術

隨著照相機、攝像機、智能手機快速普及，圖像、視頻等可視內容數據與日俱增，可視內容感知理解已經成為計算機視覺等相關研究領域的國際前沿方向。其中圖像美學質量評價(ImageAesthetic?Quality?Assessment，IAQA)更是研究熱點。

圖像美學質量評價具有主觀性，往往會涉及情感和個人品味，然而，圖像美學質量評價的理論依據是：人們往往會達成一種共識，即一些圖像在視覺上比其他圖像更有吸引力。研究人員希望用計算機模仿人類的審美過程，預測人類對視覺刺激產生的情緒反應，從而自動預測圖像的美學質量。

發明內容

本發明所需要解決的技術問題是提供一種無參考圖像美學質量評價方法，本方法無需訓練神經網絡，并且可有效提高客觀評價結果與主觀感知的相關性。本發明解決上述技術問題所采用的技術方案為：

一種無需訓練的圖像美學質量評價方法，包括下列步驟：

第一步：由原始彩色圖像得到全局視圖

為了保留全局信息，直接將原始彩色圖像縮放成形狀為224×224×3的圖像塊，作為全局視圖輸入P₁；

第二步：由原始彩色圖像得到局部視圖

為了保留細節信息，從原始彩色圖像中切割出一塊形狀為224×224×3的圖像塊，作為局部視圖輸入。方法如下：

1)選擇ResNet-50網絡為基準網絡；

2)保留ResNet-50基準網絡從開始到“activation_49”層不變，在其后添加全局平均池化層，得到圖像切塊網絡Net_c；

3)將P₁輸入圖像切塊網絡Net_c，得到形狀為7×7的輸出，選取這49個元素數值中最大的一個，記錄其索引(i,j)；i＝1,…7,j＝1,…7；

4)將原始圖像沿長和寬分別等距劃分為7塊，取索引為(i,j)的圖像塊的中心作為切塊中心，從原始彩色圖像中切割出一塊形狀為224×224×3的圖像塊，得到局部視圖輸入P₂；

第三步：提取特征

分別從全局視圖和局部視圖中提取特征；方法如下：

1.仍然選擇ResNet-50網絡為基準網絡；

2.保留ResNet-50基準網絡從開始到“avg_pool”層不變，得到特征提取網絡Net_f；

3.將全局視圖輸入P₁輸入特征提取網絡Net_f，得到全局特征F₁；

4.將局部視圖輸入P₂輸入特征提取網絡Net_f，得到局部特征F₂；

第四步：美學質量評價