[發(fā)明專利]基于不確定性和概率的多任務(wù)圖像質(zhì)量評估方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010563396.6
• 申請日: 2020-06-19
• 公開（公告）號: CN111724370B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 牛玉貞;施偉峰
• 申請（專利權(quán)）人: 福州大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08;G06V10/98;G06V10/764;G06V10/82;G06K9/62
• 代理公司: 福州元創(chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 錢莉;蔡學(xué)俊

1.一種基于不確定性和概率的多任務(wù)無參考圖像質(zhì)量評估方法，其特征在于，包括以下步驟：

將待訓(xùn)練的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理；

設(shè)計(jì)能夠預(yù)測失真類型和圖像質(zhì)量分?jǐn)?shù)的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，并訓(xùn)練該多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)；

將待測圖像進(jìn)行預(yù)處理，生成圖像塊，利用訓(xùn)練好的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測所生成的圖像塊的質(zhì)量分?jǐn)?shù)和失真類型，根據(jù)圖像塊的質(zhì)量分?jǐn)?shù)和失真類型計(jì)算待測圖像的質(zhì)量分?jǐn)?shù)和失真類型；

所述將待訓(xùn)練的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理具體為：

先將所有失真圖像進(jìn)行歸一化處理，將所有歸一化圖像有重疊地切分成若干個H×W大小的圖像塊；

所述設(shè)計(jì)能夠預(yù)測失真類型和圖像質(zhì)量分?jǐn)?shù)的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，并訓(xùn)練該多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)具體包括以下步驟：

步驟A1：設(shè)計(jì)多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，該多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)首先經(jīng)過多個卷積層、批歸一化層、激活層和注意力機(jī)制塊進(jìn)行特征提取；提取后的圖像特征首先經(jīng)過兩個全連接層，然后分為兩路，一路經(jīng)過一個單元的全連接層以預(yù)測圖像質(zhì)量分?jǐn)?shù)s，另一路經(jīng)過C個單元的全連接層以預(yù)測圖像失真類型d；

步驟A2：使用多任務(wù)的不確定性作為所述多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，計(jì)算公式如下：

其中，

式中，ω是模型的權(quán)重，x是輸入的圖像，y₁表示輸入的圖像質(zhì)量的真實(shí)主觀評估分?jǐn)?shù)，y₂表示輸入的圖像的真實(shí)失真類型向量，和分別是網(wǎng)絡(luò)在權(quán)重ω下對輸入x預(yù)測的圖像質(zhì)量評估分?jǐn)?shù)和失真類型向量，σ₁和σ₂分別是由網(wǎng)絡(luò)學(xué)習(xí)的質(zhì)量評估分?jǐn)?shù)、失真類型的不確定性因子，N為每個批次輸入的圖像數(shù)量，C為待測圖像候選失真類型的數(shù)量，為輸入的第i張圖像第j種失真類型的真實(shí)概率，為第i張圖像第j種失真類型的預(yù)測概率經(jīng)過失真類型不確定性因子σ₂縮放的值；

步驟A3：所述多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)通過多次迭代進(jìn)行反向傳播；在每次迭代中，訓(xùn)練集被分成多個批次進(jìn)行分批優(yōu)化，采用基于梯度方差的Adam方法自適應(yīng)和余弦退火控制每個參數(shù)的分批優(yōu)化學(xué)習(xí)率，訓(xùn)練預(yù)設(shè)數(shù)量個epoch后結(jié)束，取驗(yàn)證誤差最小的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)作為訓(xùn)練結(jié)果；

步驟A1中，圖像質(zhì)量分?jǐn)?shù)s的計(jì)算公式如下：

式中，ω是模型的權(quán)重，x是輸入的圖像，是網(wǎng)絡(luò)在權(quán)重ω下對輸入x預(yù)測的圖像質(zhì)量評估分?jǐn)?shù)；

步驟A1中，圖像失真類型d的計(jì)算公式如下：

式中，ω是模型的權(quán)重，x是輸入的圖像，C為待測圖像候選失真類型的數(shù)量，是網(wǎng)絡(luò)在權(quán)重ω下對輸入x預(yù)測的失真類型向量的第i維。

2.根據(jù)權(quán)利要求1所述的一種基于不確定性和概率的多任務(wù)無參考圖像質(zhì)量評估方法，其特征在于，所述將待測圖像進(jìn)行預(yù)處理，生成圖像塊，利用訓(xùn)練好的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測所生成的圖像塊的質(zhì)量分?jǐn)?shù)和失真類型，根據(jù)圖像塊的質(zhì)量分?jǐn)?shù)和失真類型計(jì)算待測圖像的質(zhì)量分?jǐn)?shù)和失真類型具體包括以下步驟：

步驟B1：將待測圖像I歸一化處理，然后將待測圖像劃分成大小為H×W的圖像塊；

步驟B2：將所有圖像塊作為訓(xùn)練好的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的輸入，得到每個圖像塊的圖像質(zhì)量分?jǐn)?shù)和失真類型；

步驟B3：選擇待測圖像的失真類型預(yù)測概率大于或等于指定閾值δ的所有圖像塊，計(jì)算各種失真類型的圖像塊數(shù)量，選擇數(shù)量最多的失真類型作為待測圖像I的失真類型D_I；

步驟B4：放棄所有失真類型的預(yù)測概率小于指定閾值δ的圖像塊，使num(j,δ)用基于概率限定的平均方法作為待預(yù)測圖像I的最終質(zhì)量分?jǐn)?shù)

3.根據(jù)權(quán)利要求2所述的一種基于不確定性和概率的多任務(wù)無參考圖像質(zhì)量評估方法，其特征在于，步驟B3中，待測圖像I的失真類型D_I的計(jì)算如下：

式中，C為待測圖像候選失真類型的數(shù)量，num(j,δ)表示預(yù)測失真類型為j且其概率大于或等于指定閾值δ的圖像塊的數(shù)量。