[發明專利]一種基于前景檢測的雙框架縮略圖像質量評價方法

有效

• 申請號: 201910235265.2
• 申請日: 2019-03-27
• 公開（公告）號: CN109978858B
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 郭禮華;李宇威
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/194;G06T7/33
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.一種基于前景檢測的雙框架縮略圖像質量評價方法，其特征在于，包括以下步驟：

S1、對輸入的原始圖像和縮略圖像進行圖像配準，得到原始圖像和縮略圖像的像素對應關系；

S2、對輸入的原始圖像進行前景檢測，得到前景顯著性圖；

S3、判斷圖像是否具有顯著前景；

S4、若圖像有顯著前景，則綜合采用前景質量評價和全局質量評價來計算縮略圖像的客觀質量評分，具體為：

S4.1、計算原始圖像和縮略圖像的前景物語義相似度，具體為：

S4.1.1、采用給定閾值對前景顯著性圖進行二值化，得到原始圖像的前景物掩模；

S4.1.2、將原始圖像的前景物掩模通過配準關系映射，得到縮略圖像的前景物掩模；

S4.1.3、分別用各自的前景物掩模提取出原始圖像和縮略圖像中的前景物；

S4.1.4、在不改變前景物寬高比的情況下，對提取的前景物進行黑邊填充和等比例縮放，得到適應神經網絡輸入尺寸的前景物圖；

S4.1.5、將原始圖像和縮略圖像的前景物圖分別輸入到預訓練好的神經網絡中，并取神經網絡的倒數第二層輸出作為語義特征向量；

S4.1.6、計算原始圖像和縮略圖像的前景物圖對應的語義特征向量之間的余弦相似度作為語義相似度；

S4.2、計算原始圖像和縮略圖像中前景物的尺寸變化；

S4.3、計算各區塊的寬高比改變和內容損失，并用顯著性圖加權得到全局結構保真度；

S4.4、分別提取縮略圖像和原始圖像的輪廓集，計算全局輪廓保真度；

S5、若圖像沒有顯著前景，則僅采用全局質量評價來計算縮略圖像的客觀質量評分，除換用更適合無顯著前景的圖像的顯著性圖外，其余計算同步驟S4.3和步驟S4.4；

S6、用已有數據訓練得到的評分融合模型對步驟S4或S5中的各項指標進行融合得到最終的客觀排名或評分。

2.根據權利要求1所述的一種基于前景檢測的雙框架縮略圖像質量評價方法，其特征在于：在步驟S1中，圖像配準采用SIFT-FLOW方法，不失一般性的，假定縮略圖像是原始圖像在單一維度上的縮略，因此，縮略圖像中每個像素點在原始圖像中都有像素點與之對應，反之則不然。

3.根據權利要求1所述的一種基于前景檢測的雙框架縮略圖像質量評價方法，其特征在于：在步驟S2中，采用預訓練好的PiCA-Net進行前景檢測，將原始圖像直接縮放至神經網絡輸入所需的尺寸，再將神經網絡的輸出直接縮放至原始圖像的尺寸得到前景顯著性圖，前景顯著性圖中每個像素的像素值表示原始圖像中該位置的像素屬于前景物的置信度。

4.根據權利要求1所述的一種基于前景檢測的雙框架縮略圖像質量評價方法，其特征在于：在步驟S3中，根據前景顯著性圖中顯著性值非零的像素集的平均顯著性值是否大于給定閾值來判斷原始圖像中是否包含顯著前景。

5.根據權利要求1所述的一種基于前景檢測的雙框架縮略圖像質量評價方法，其特征在于：在步驟S4.1.1中，首先找出前景顯著性圖中顯著性值大于給定閾值的像素，然后令前景物掩模中相同位置的像素的像素值為1，其它位置的像素的像素值為0；

在步驟S4.1.2中，縮略圖像的前景物掩模中每個像素的像素值等于原始圖像的前景物掩模中的對應像素的像素值；

在步驟S4.1.3中，前景物提取是通過將圖像與前景物掩模相乘得到的；

在步驟S4.1.4中，首先將前景物用最小矩形框裁剪出來，然后保持寬高比不變沿矩形框寬高中較長的維度上縮放至該維度尺寸為224，最后在矩形框的另一維度的兩邊填充相同大小的黑邊至該維度尺寸為224；

在步驟S4.1.5中，采用的預訓練好的神經網絡是在Image-Net上預訓練的用于圖像分類任務的VGG-16神經網絡，網絡的倒數第二層輸出是4096維的向量。

6.根據權利要求1所述的一種基于前景檢測的雙框架縮略圖像質量評價方法，其特征在于：在步驟S4.2中，前景物的尺寸變化用步驟S4.1.2中縮略圖像的前景物掩模中像素值為1的像素數和步驟S4.1.1中原始圖像的前景物掩模中像素值為1的像素數的比值表示。