[發明專利]一種基于深度特征與結構加權LBP特征的圖像質量評價方法

在審

• 申請號: 202011225809.6
• 申請日: 2020-11-05
• 公開（公告）號: CN112508847A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 鄭元林;于淼淼;廖開陽;趙金娟;鄧軒;李佳;樓豪杰;范冰
• 申請（專利權）人: 西安理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/44;G06T7/90;G06K9/62
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王丹

1.一種基于深度特征與結構加權LBP特征的圖像質量評價方法，其特征在于，具體按照以下步驟實施：

步驟1、轉換圖像的顏色空間，將原始圖像和失真圖像由RGB顏色空間轉變為YCrCb顏色空間；

步驟2、在亮度通道Y中提取原始圖像和失真圖像的梯度特征，將梯度特征與圖像的亮度通道進行融合，并將YCrCb空間的圖像反變換，得到基于梯度域的RGB增強圖像；

步驟3、將原始圖像和失真圖像的RGB增強圖像分別作為預訓練的VGG16深度模型的輸入，并計算五個池化層下的圖像相似度，得到相似性深度圖；

步驟4、在亮度通道Y中提取失真圖像的頻域相位特征，并與失真圖像的梯度特征進行融合，得到失真圖像的結構圖，然后在該結構圖中提取LBP特征，得到失真圖像的50維的基于結構加權的LBP特征；

步驟5、計算原始圖像和失真圖像分別在兩個色度通道Cr、Cb中的相似性，兩者乘積即為提取的圖像顏色相似性特征；

步驟6、分別提取每個相似性深度圖的均值，提取顏色相似性特征的均值、標準偏差、熵，并與50維的基于結構加權的LBP特征進行多特征融合，生成一個表征其失真效應的373維的特征向量；

步驟7、將圖像數據庫中所有圖像提取的373維特征向量以及相應的平均主觀分數MOS或DMOS值采用隨機森林RF策略訓練IQA模型，訓練好的模型即可實現對彩色失真圖像質量的準確預測和評估。

2.根據權利要求1所述的一種基于深度特征與結構加權LBP特征的圖像質量評價方法，其特征在于，所述步驟1中Y表示明亮度，Cr和Cb表示色度；對于一幅RGB圖像，其顏色空間轉變過程可表示為：

實現將圖像的亮度通道和色度通道進行分離。

3.根據權利要求2所述的一種基于深度特征與結構加權LBP特征的圖像質量評價方法，其特征在于，所述步驟2具體為：

步驟2.1、選擇大小為5×5并包含0°、90°、45°及135°四個方向的高通濾波模板分別對原始圖像的Y通道圖像做卷積運算來提取梯度特征，具體操作如下：

其中：(x,y)表示圖像中像素點的坐標，G_k(x,y)(其中k分別取1,2,3,4)表示使用M₁、M₂、M₃、M₄四個高通濾波模板進行卷積運算后所得到的分別對應于0°、90°、45°、135°方向的四個梯度分量，(i,j)表示高通濾波模板中像素點的坐標；

步驟2.2、用步驟2.1得到的四個梯度分量G₁(x,y)、G₂(x,y)、G₃(x,y)、G₄(x,y)計算原始圖像的梯度幅度值，具體計算過程如下：

其中：G_m(x,y)表示融合0°和90°方向的梯度幅度分量，G_n(x,y)表示融合45°和135°方向的梯度幅度分量，GMap表示在四個方向上提取的梯度幅度值；

步驟2.3、將計算得到的梯度特征GMap₁和GMap₂與亮度通道Y進行融合，并將YCrCb空間的圖像進行反變換，得到基于梯度域的RGB增強圖像。

4.根據權利要求3所述的一種基于深度特征與結構加權LBP特征的圖像質量評價方法，其特征在于，所述步驟2.3具體為：

步驟2.3.1、將原始圖像的梯度特征與亮度通道Y₁(Y₂)進行融合：

Y₁＝GMap₁+Y₁ (4)

Y₂＝GMap₂+Y₂ (5)

其中：等式左邊的Y₁和Y₂即分別表示原始圖像和失真圖像融合梯度特征后的亮度通道；

步驟2.3.2、將原始圖像和失真圖像的顏色空間進行反變換，由YCrCb顏色空間轉換為RGB顏色空間，轉換過程為：

其中：等式右邊的亮度通道Y即為使用式(4)和(5)進行融合后原始圖像和失真圖像的亮度通道。