[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的無參照圖像質(zhì)量評估方法

有效

• 申請?zhí)枺?/td>: 201810261969.2
• 申請日: 2018-03-27
• 公開（公告）號: CN108510485B
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計(jì)）人: 牛玉貞;陳培坤;郭文忠
• 申請（專利權(quán)）人: 福州大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 蔡學(xué)俊

本發(fā)明涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的無參照圖像質(zhì)量評估方法，包括以下步驟：步驟S1：對訓(xùn)練圖像集合中的訓(xùn)練圖像進(jìn)行局部歸一化處理；步驟S2：將所述訓(xùn)練圖像有重疊的劃分成不同尺度的圖塊；步驟S3：使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不同尺度圖塊的特征，并將多個(gè)不同尺度上生成的特征輸入到三個(gè)全連接層來學(xué)習(xí)圖塊的質(zhì)量評估分?jǐn)?shù)；步驟S4：利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測待預(yù)測圖像的所有圖塊的質(zhì)量評估分?jǐn)?shù)，計(jì)算待預(yù)測圖像所有圖塊的平均質(zhì)量評估分?jǐn)?shù)作為圖像最終的質(zhì)量評估分?jǐn)?shù)。該算法綜合考慮了圖像在不同尺度上的特征，能顯著提高基于卷積神經(jīng)網(wǎng)絡(luò)的無參照圖像質(zhì)量評估性能。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像和視頻處理以及計(jì)算機(jī)視覺領(lǐng)域，特別是一種基于卷積神經(jīng)網(wǎng)絡(luò)的無參照圖像質(zhì)量評估方法。

背景技術(shù)

數(shù)字圖像在采集、壓縮、存儲或其它圖像處理過程中通常會受到不同程度的、不同類型的圖像失真影響。人們希望能評估圖像的失真情況，然后通過特定的圖像恢復(fù)技術(shù)恢復(fù)圖像，進(jìn)而降低由于圖像失真引起的對后續(xù)其他圖像處理環(huán)節(jié)的影響。目前已經(jīng)有很多基于卷積神經(jīng)網(wǎng)絡(luò)的無參照圖像質(zhì)量評估算法被提出。2014年Kang等人第一次提出基于卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量評估算法，該算法沒有像大多數(shù)傳統(tǒng)的質(zhì)量評估算法一樣使用手工提取的特征，而是將圖像劃分成圖塊，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，用待預(yù)測圖像對應(yīng)的所有圖塊分?jǐn)?shù)的均值作為的整體圖像質(zhì)量分?jǐn)?shù)。2017年Kim等人提出一種改進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)的質(zhì)量評估算法，包含兩個(gè)階段：首先將圖像劃分成圖塊來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，結(jié)合同一圖像所有圖塊的特征來生成圖像的特征向量；然后采用回歸算法計(jì)算圖像的質(zhì)量評估分?jǐn)?shù)。

由于現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量評價(jià)算法普遍采用圖像劃分來產(chǎn)生更多數(shù)據(jù)，因此這些算法更關(guān)注圖像局部的失真信息，而忽略圖像空間結(jié)構(gòu)信息的重要性。近年來，多尺度機(jī)制在圖像語義分割、顯著性檢測等領(lǐng)域已經(jīng)有了很多成功的應(yīng)用。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的無參照圖像質(zhì)量評估方法，該方法有利于提高無參照圖像質(zhì)量評估性能。

為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：一種基于卷積神經(jīng)網(wǎng)絡(luò)的無參照圖像質(zhì)量評估方法，包括以下步驟：

步驟S1：對訓(xùn)練圖像集合和待預(yù)測圖像集合中的圖像進(jìn)行局部歸一化處理；

步驟S2：將經(jīng)過局部歸一化處理的圖像有重疊的劃分成不同尺度的圖塊；

步驟S3：使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不同尺度圖塊的特征，即將訓(xùn)練圖像集合中的圖像對應(yīng)的所有三個(gè)不同尺度的圖塊輸入到三個(gè)全連接層來學(xué)習(xí)圖塊的質(zhì)量評估分?jǐn)?shù)；

步驟S4：利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測待預(yù)測圖像的所有圖塊的質(zhì)量評估分?jǐn)?shù)，計(jì)算待預(yù)測圖像所有圖塊的平均質(zhì)量評估分?jǐn)?shù)作為圖像最終的質(zhì)量評估分?jǐn)?shù)。

進(jìn)一步地，所述步驟S1中，對訓(xùn)練圖像集合和待預(yù)測圖像集合中的圖像進(jìn)行局部歸一化處理，包括以下步驟：

步驟S11：對任意一幅圖像，計(jì)算每個(gè)像素點(diǎn)亮度值的局部加權(quán)平均值μ(i,j)和局部加權(quán)標(biāo)準(zhǔn)差σ(i,j)，計(jì)算公式為：

其中，i和j是像素點(diǎn)的空間位置，K和L用于定義局部歸一化處理過程中窗口的高度和寬度大小，窗口的高度和寬度分別為2*K+1和2*L+1，k和l是像素點(diǎn)在窗口的相對空間位置，I(i+k,j+l)表示在空間位置(i+k,j+l)處的像素點(diǎn)亮度值，ω(k,l)表示在空間位置(i+k,j+l)處的像素點(diǎn)亮度值的權(quán)重，所有的ω(k,l)構(gòu)成滿足對稱高斯分布的2維矩陣ω＝{ω(k,l)|k＝-K,...,K,l＝-L,...,L}；

步驟S12：對圖像中的每個(gè)像素點(diǎn)亮度值進(jìn)行局部歸一化處理：

其中，C是一個(gè)常數(shù)，用于避免因分母為0而導(dǎo)致不可計(jì)算。