[發明專利]一種基于深度特征與結構加權LBP特征的圖像質量評價方法

在審

• 申請號: 202011225809.6
• 申請日: 2020-11-05
• 公開（公告）號: CN112508847A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 鄭元林;于淼淼;廖開陽;趙金娟;鄧軒;李佳;樓豪杰;范冰
• 申請（專利權）人: 西安理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/44;G06T7/90;G06K9/62
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王丹

本發明公開了一種基于深度特征與結構加權LBP特征的圖像質量評價方法，具體為：將原始圖像和失真圖像轉變為YCrCb顏色空間；提取梯度特征，并將YCrCb空間的圖像反變換，得到增強圖像；將增強圖像作為預訓練的VGG16深度模型的輸入，計算圖像相似度，得到相似性深度圖；提取頻域相位特征，并與失真圖像的梯度特征進行融合，得到結構圖，然后提取LBP特征，得到基于結構加權的LBP特征；分別提取每個相似性深度圖的均值，提取顏色相似性特征的均值、標準偏差、熵，并與50維的基于結構加權的LBP特征進行多特征融合，生成373維特征向量；將373維特征向量以及平均主觀分數MOS值采用隨機森林RF策略訓練IQA模型，訓練好的模型對彩色失真圖像質量的準確預測和評估。

技術領域

本發明屬于圖像質量評價方法技術領域，涉及一種基于深度特征與結構加權LBP特征的圖像質量評價方法。

背景技術

隨著數字媒體技術的飛速發展，各行各業對數字圖像的質量都提出了越來越高的要求，在醫學成像領域中，高質量的醫學圖像有助于醫生準確的判斷病人的病情，做到及時對癥下藥；在圖像識別中，高質量的圖像是確保圖像識別準確性和可靠性的關鍵因素；在軍事領域中，戰場監視和精確打擊的效果取決于無人機等航拍設備所拍攝到的圖像或視頻的質量。

然而，圖像在經過獲取、處理、傳輸和存儲等各個環節，由于各種因素的影響，如成像設備、內嵌的圖像處理方法、傳輸介質、編碼壓縮技術等的不完善，會導致圖像質量發生退化現象，無法忠實的還原原始圖像，不僅影響其視覺可觀性，同時影響其實際應用效果。

目前，大多數圖像質量評價方法僅提取圖像的空域特征、頻域特征或統計特征，沒有考慮到將這些傳統特征與使用深度模型(如：VGG16網絡)提取的深度特征進行融合，這些深度特征涵蓋了圖像從低維到高維的特征，與其它特征組合能夠更全面的描述圖像的失真效應。另外，很多方法僅能在一個圖像數據庫中表現良好，但不適用于所有數據庫，模型的泛化性有待加強，對圖像質量評價的準確性方面也需進一步提高。

發明內容

本發明的目的是提供一種基于深度特征與結構加權LBP特征的圖像質量評價方法，通過提取圖像的顏色特征、結構加權LBP特征與使用VGG16深度模型提取的深度特征進行融合，實現對彩色失真圖像質量的精確預測和評估。

本發明所采用的技術方案是，一種基于深度特征與結構加權LBP特征的圖像質量評價方法，具體按照以下步驟實施：

步驟1、轉換圖像的顏色空間，將原始圖像和失真圖像由RGB顏色空間轉變為YCrCb顏色空間；

步驟2、在亮度通道Y中提取原始圖像和失真圖像的梯度特征，將梯度特征與圖像的亮度通道進行融合，并將YCrCb空間的圖像反變換，得到基于梯度域的RGB增強圖像；

步驟3、將原始圖像和失真圖像的RGB增強圖像分別作為預訓練的VGG16深度模型的輸入，并計算五個池化層下的圖像相似度，得到相似性深度圖；

步驟4、在亮度通道Y中提取失真圖像的頻域相位特征，并與失真圖像的梯度特征進行融合，得到失真圖像的結構圖，然后在該結構圖中提取LBP特征，得到失真圖像的50維的基于結構加權的LBP特征；

步驟5、計算原始圖像和失真圖像分別在兩個色度通道Cr、Cb中的相似性，兩者乘積即為提取的圖像顏色相似性特征；

步驟6、分別提取每個相似性深度圖的均值，提取顏色相似性特征的均值、標準偏差、熵，并與50維的基于結構加權的LBP特征進行多特征融合，生成一個表征其失真效應的373維的特征向量；

步驟7、將圖像數據庫中所有圖像提取的373維特征向量以及相應的平均主觀分數MOS或DMOS值采用隨機森林RF策略訓練IQA模型，訓練好的模型即可實現對彩色失真圖像質量的準確預測和評估。

步驟1中Y表示明亮度，Cr和Cb表示色度；對于一幅RGB圖像，其顏色空間轉變過程可表示為：