[發明專利]高級視覺感知特征與深度特征融合的圖像質量評價方法

有效

• 申請號: 202010117736.2
• 申請日: 2020-02-25
• 公開（公告）號: CN111429402B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 張蕾;侯文靜;張敏;馮筠
• 申請（專利權）人: 西北大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/80;G06V10/82;G06V10/98;G06V10/774;G06N3/045;G06N3/08
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 李婷;祁凡雨

1.一種高級視覺感知特征與深度特征融合的圖像質量評價方法，本方法是對原始失真圖像進行圖像質量評價，其特征在于，包括以下步驟：

步驟1，利用最小可覺差模型對原始失真圖像進行處理，得到最小可覺差圖像，構建特征提取網絡分別用于從最小可覺差圖像和原始失真圖像中提取高級視覺感知特征和深度特征；并將兩種特征進行融合；

所述構建深度殘差網絡分別用于從最小可覺差圖像和失真圖像中提取高級視覺感知特征和深度特征包括：使用最小可覺差模型對原始失真圖像進行處理，并復制三次，得到三通道的最小可覺差圖像；構建特征提取網絡分別用于從最小可覺差圖像和失真圖像中提取高級視覺感知特征和深度特征；

步驟2，構建基于步驟1得到的融合特征進行圖像質量預測的網絡結構，具體地，該網絡結構的是含有一個節點的全連接層，表示圖像的質量分數；

步驟3，構建目標損失函數，訓練所構建的網絡結構，得到圖像質量評價模型；具體包括：

步驟3.1，構建均方根誤差與圖像質量排序的加權作為目標損失函數L，如公式：

其中：L₂是均方根誤差；

n為批訓練時批次大小參數，1≤n≤訓練集總樣本數；

α和β為權重參數，均為正整數，由訓練得到；

表示樣本i和j之間的圖像質量排序損失，i和j均為介于1和n之間的變量；

consistency^i,j表示網絡結構預測的訓練集中樣本i和j對應的圖像質量排序與標簽排序是否一致，若一致則為1，否則為0；f(I_i,J_i；θ)代表網絡結構對變量i對應的原始失真圖像I_i預測的圖像質量分數，J_i表示從原始失真圖像I_i處理得到的對應于I_i的最小可覺差圖像J_i；f(I_j,J_j；θ)代表網絡結構對變量j對應的原始失真圖像I_j預測的圖像質量分數，J_j表示從原始失真圖像I_j處理得到的對應于I_j的最小可覺差圖像J_j；θ表示網絡結構中所有參數，其取值為實數；

步驟4，利用圖像質量評價模型對原始失真圖像進行圖像質量評價。

2.根據權利要求1所述的圖像質量評價方法，其特在于，步驟3中，構建均方根誤差與圖像質量排序的加權作為目標損失函數，目標損失函數L為：

其中：L₂是均方根誤差；

n為批訓練時批次大小，1≤n≤訓練集總樣本數；

α和β為權重參數，均為正整數；

表示訓練集中樣本i和j之間的圖像質量排序損失，i和j均為介于1和n之間的變量；

consistency^i,j表示網絡結構預測的訓練集中樣本i和j對應的圖像質量排序與標簽排序是否一致，若一致則為1，否則為0；f(I_i,J_i；θ)代表網絡結構對變量i對應的原始失真圖像I_i預測的圖像質量分數，J_i表示從原始失真圖像I_i處理得到的對應于I_i的最小可覺差圖像J_i；f(I_j，J_j；θ)代表網絡結構對變量j對應的原始失真圖像I_j預測的圖像質量分數，I_j表示從原始失真圖像I_j處理得到的對應于I_j的最小可覺差圖像J_j；θ表示網絡結構中的所有參數變量，其取值為實數范圍。

3.根據權利要求1所述的圖像質量評價方法，其特征在于，所述的步驟1中，特征提取網絡包含兩個結構一致的子網絡，均為去掉最后一個全局池化層和全連接層的深度殘差網絡。