[發明專利]一種基于前景檢測的雙框架縮略圖像質量評價方法

有效

• 申請號: 201910235265.2
• 申請日: 2019-03-27
• 公開（公告）號: CN109978858B
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 郭禮華;李宇威
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/194;G06T7/33
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于前景檢測的雙框架縮略圖像質量評價方法，包括步驟：S1、對輸入的原始圖像和縮略圖像進行圖像配準，得到原始圖像和縮略圖像的像素對應關系；S2、對輸入的原始圖像進行前景檢測，得到前景顯著性圖；S3、判斷圖像是否具有顯著前景；S4、若圖像有顯著前景，則綜合采用前景質量評價和全局質量評價來計算縮略圖像的客觀質量評分；S5、若圖像沒有顯著前景，則僅采用全局質量評價來計算縮略圖像的客觀質量評分；S6、用已有數據訓練得到的評分融合模型對步驟S4或S5中的各項指標進行融合得到最終的客觀排名或評分。通過本發明方法能夠取得更好的質量評價效果。

技術領域

本發明涉及深度學習、圖像處理以及圖像質量評價的技術領域，尤其是指一種基于前景檢測的雙框架縮略圖像質量評價方法。

背景技術

現有的縮略圖像質量評價方法對于不同類型的圖像采用相同的一套評價框架，而不同類型圖像實際上適用不同的評價框架。因此，針對不同類型的圖像設計不同的評價框架有助于提升縮略圖像質量的客觀評價與主觀評價的一致性。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提出了一種基于前景檢測的雙框架縮略圖像質量評價方法，以取得更好的質量評價效果。

為實現上述目的，本發明所提供的技術方案為：一種基于前景檢測的雙框架縮略圖像質量評價方法，包括以下步驟：

S1、對輸入的原始圖像和縮略圖像進行圖像配準，得到原始圖像和縮略圖像的像素對應關系；

S2、對輸入的原始圖像進行前景檢測，得到前景顯著性圖；

S3、判斷圖像是否具有顯著前景；

S4、若圖像有顯著前景，則綜合采用前景質量評價和全局質量評價來計算縮略圖像的客觀質量評分，具體為：

S4.1、計算原始圖像和縮略圖像的前景物語義相似度，具體為：

S4.1.1、采用給定閾值對前景顯著性圖進行二值化，得到原始圖像的前景物掩模；

S4.1.2、將原始圖像的前景物掩模通過配準關系映射，得到縮略圖像的前景物掩模；

S4.1.3、分別用各自的前景物掩模提取出原始圖像和縮略圖像中的前景物；

S4.1.4、在不改變前景物寬高比的情況下，對提取的前景物進行黑邊填充和等比例縮放，得到適應神經網絡輸入尺寸的前景物圖；

S4.1.5、將原始圖像和縮略圖像的前景物圖分別輸入到預訓練好的神經網絡中，并取神經網絡的倒數第二層輸出作為語義特征向量；

S4.1.6、計算原始圖像和縮略圖像的前景物圖對應的語義特征向量之間的余弦相似度作為語義相似度；

S4.2、計算原始圖像和縮略圖像中前景物的尺寸變化；

S4.3、計算各區塊的寬高比改變和內容損失，并用顯著性圖加權得到全局結構保真度；

S4.4、分別提取縮略圖像和原始圖像的輪廓集，計算全局輪廓保真度；

S5、若圖像沒有顯著前景，則僅采用全局質量評價來計算縮略圖像的客觀質量評分，除換用更適合無顯著前景的圖像的顯著性圖外，其余計算同步驟S4.3和步驟S4.4；

S6、用已有數據訓練得到的評分融合模型對步驟S4或S5中的各項指標進行融合得到最終的客觀排名或評分。

在步驟S1中，圖像配準采用SIFT-FLOW方法，不失一般性的，假定縮略圖像是原始圖像在單一維度上的縮略，因此，縮略圖像中每個像素點在原始圖像中都有像素點與之對應，反之則不然。