[發明專利]一種基于卷積神經網絡的無參照圖像質量評估方法

有效

• 申請號: 201810261969.2
• 申請日: 2018-03-27
• 公開（公告）號: CN108510485B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 牛玉貞;陳培坤;郭文忠
• 申請（專利權）人: 福州大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

1.一種基于卷積神經網絡的無參照圖像質量評估方法，其特征在于，包括以下步驟：

步驟S1：對訓練圖像集合和待預測圖像集合中的圖像進行局部歸一化處理；

步驟S2：將經過局部歸一化處理的圖像有重疊的劃分成不同尺度的圖塊；

步驟S3：使用卷積神經網絡學習不同尺度圖塊的特征，即將訓練圖像集合中的圖像對應的所有三個不同尺度的圖塊輸入到三個全連接層來學習圖塊的質量評估分數；

步驟S4：利用訓練好的卷積神經網絡預測待預測圖像的所有圖塊的質量評估分數，計算待預測圖像所有圖塊的平均質量評估分數作為圖像最終的質量評估分數；

所述步驟S2中，將經過局部歸一化處理的圖像有重疊的劃分成不同尺度的圖塊，包括以下步驟：

步驟S21：先將局部歸一化處理后的圖像有重疊的劃分為具有相同的第一尺度的大圖塊；

步驟S22：對每一個具有第一尺度的大圖塊，取一個具有第二尺度的中圖塊和一個具有第三尺度的小圖塊，且中圖塊和小圖塊的中心位置與大圖塊的中心位置重合；

所述步驟S3中，使用卷積神經網絡學習不同尺度圖塊的特征，即將訓練圖像集合中的圖像對應的所有三個不同尺度的圖塊輸入到三個全連接層來學習圖塊的質量評估分數，包括以下步驟：

步驟S31：設計一個具有3個維度的卷積神經網絡，對應3個不同尺度的圖塊作為輸入，每個維度的卷積神經網絡學習不同尺度圖塊的特征；然后將同一張圖像的3個不同尺度的特征一起輸入到3層的全連接層來學習圖塊的質量評估分數；卷積神經網絡模型在每個維度上都有兩個卷積層：第一個卷積層卷積核大小為3*3，后面接著一個3×3最大池化；第二個卷積層卷積核大小為3*3，后面同時接著一個3×3最大池化和一個3×3均值池化；池化操作通過保留輸入的局部池化區域的最大或平均值，來進行數據降維；池化層的計算公式為：

其中，R_ij表示在(i,j)位置處局部池化區域，S表示特征映射圖的數量，和分別表示第s個特征映射圖的(i,j)位置處的最大池化和均值池化的輸出，表示在局部池化區域R_ij內的(p,q)位置的值；

步驟S32：前3個全連接層后面都使用了激活函數ReLU，而最后一個全連接層只有一個節點用于輸出最后的預測值，ReLU的計算公式為：

f(x)＝max(0,x)

其中，x是輸入值，f(x)是對應的映射值；

步驟S33：在訓練階段，使用均方差誤差作為損失函數，計算公式為：

其中，N是同時進入訓練的一個批次的圖塊的數量，x_n表示第n個圖塊，S_n是x_n對應的主觀評估分數；f(x_n,ω)是所述卷積神經網絡模型在權重ω時所預測x_n的質量評估分數；所述卷積神經網絡模型通過隨機梯度下降優化方法，利用反向傳播來最小化損失函數，學習到模型的最優參數。

2.根據權利要求1所述的一種基于卷積神經網絡的無參照圖像質量評估方法，其特征在于，所述步驟S1中，對訓練圖像集合和待預測圖像集合中的圖像進行局部歸一化處理，包括以下步驟：

步驟S11：對任意一幅圖像，計算每個像素點亮度值的局部加權平均值μ(i,j)和局部加權標準差σ(i,j)，計算公式為：

其中，i和j是像素點的空間位置，K和L用于定義局部歸一化處理過程中窗口的高度和寬度大小，窗口的高度和寬度分別為2*K+1和2*L+1，k和l是像素點在窗口的相對空間位置，I(i+k,j+l)表示在空間位置(i+k,j+l)處的像素點亮度值，ω(k,l)表示在空間位置(i+k,j+l)處的像素點亮度值的權重，所有的ω(k,l)構成滿足對稱高斯分布的2維矩陣ω＝{ω(k,l)|k＝-K,...,K,l＝-L,...,L}；

步驟S12：對圖像中的每個像素點亮度值進行局部歸一化處理：

其中，C是一個常數，用于避免因分母為0而導致不可計算。

3.根據權利要求1所述的一種基于卷積神經網絡的無參照圖像質量評估方法，其特征在于，所述步驟S4中，利用訓練好的卷積神經網絡預測待預測圖像的所有圖塊的質量評估分數，計算待預測圖像所有圖塊的平均質量評估分數作為圖像最終的質量評估分數，包括以下步驟：

步驟S41：將經過局部歸一化處理的待預測圖像有重疊的劃分為不同尺度的圖塊，然后將圖塊輸入步驟S3訓練得到的卷積神經網絡模型進行預測，計算公式為：

p_m＝f(x_m,ω),m＝1,2,3,...,M

其中，M是待預測圖像劃分得到的所有圖塊的數量，x_m表示待預測圖像的第m個圖塊，p_m表示x_m通過卷積神經網絡模型預測的質量評估分數；

步驟S42：待預測圖像的最終質量評估分數為每個圖塊的質量評估分數的均值，計算公式如下：

其中，P表示待預測圖像的最終質量評估分數。