[發(fā)明專利]基于不確定性和概率的多任務(wù)圖像質(zhì)量評估方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010563396.6
• 申請日: 2020-06-19
• 公開（公告）號: CN111724370B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計）人: 牛玉貞;施偉峰
• 申請（專利權(quán)）人: 福州大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08;G06V10/98;G06V10/764;G06V10/82;G06K9/62
• 代理公司: 福州元創(chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 錢莉;蔡學(xué)俊

本發(fā)明涉及一種基于不確定性和概率的多任務(wù)無參考圖像質(zhì)量評估方法及系統(tǒng)，首先將待訓(xùn)練的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理；然后設(shè)計能夠預(yù)測失真類型和圖像質(zhì)量分?jǐn)?shù)的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，并訓(xùn)練該多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)；最后將待測圖像進(jìn)行預(yù)處理，生成圖像塊，利用訓(xùn)練好的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測所生成的圖像塊的質(zhì)量分?jǐn)?shù)和失真類型，根據(jù)圖像塊的質(zhì)量分?jǐn)?shù)和失真類型計算待測圖像的質(zhì)量分?jǐn)?shù)和失真類型。本發(fā)明通過提出的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征、學(xué)習(xí)圖像質(zhì)量和失真類型之間的不確定性，不僅能夠評估圖像質(zhì)量，也能夠預(yù)測失真類型，并顯著提高無參考圖像質(zhì)量評估的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是一種基于不確定性和概率的多任務(wù)無參考圖像質(zhì)量評估方法及系統(tǒng)。

背景技術(shù)

伴隨互聯(lián)網(wǎng)的快速成長，數(shù)字圖像已然成為一種不可缺少的信息傳輸載體。移動互聯(lián)網(wǎng)的普及、人們的需求、日益暴增的圖像數(shù)量，促進(jìn)了圖像處理算法地不斷更新迭代和計算機(jī)視覺領(lǐng)域的快速發(fā)展。隨著多媒體技術(shù)的發(fā)展，現(xiàn)在人們對圖片實時分享、發(fā)送和接收，以及即時在線直播的要求越來越高，使得對圖像質(zhì)量評估算法的要求也越來越高。然而，圖像在拍攝、編解碼、存儲、傳輸、處理過程中難以避免地會丟失部分或完整原始數(shù)據(jù)，導(dǎo)致圖像產(chǎn)生失真現(xiàn)象，出現(xiàn)噪點、變形、扭曲、缺失等現(xiàn)象。失真會不同程度地丟失原始圖像中所包含的信息，從而影響會影響人們對圖像的觀感、影響人們從圖像中獲取信息。圖像質(zhì)量評估可以根據(jù)圖像的失真類型及失真程度來對圖像的質(zhì)量進(jìn)行評估，從而為后續(xù)的圖像處理技術(shù)，比如超分辨率、圖像分割、圖像去噪、圖像復(fù)原、風(fēng)格遷移和顯著性檢測等提供基礎(chǔ)，是圖像處理領(lǐng)域的關(guān)鍵技術(shù)之一，對于當(dāng)下圖像在醫(yī)學(xué)、航空、軍事等領(lǐng)域來說是至關(guān)重要的。

圖像質(zhì)量評估一般有主觀和客觀之分。主觀圖像質(zhì)量評估是指由多個評估員對數(shù)據(jù)集的圖像質(zhì)量打分后進(jìn)行統(tǒng)計加工合成，此方法直接地反映了人類視覺系統(tǒng)對圖像的直觀感知和視覺體驗效果，評估結(jié)果最符合人類的視覺感官體驗。客觀圖像質(zhì)量評估是指由計算機(jī)按照一定的算法進(jìn)行實現(xiàn)，算法根據(jù)人類視覺系統(tǒng)，對失真圖像進(jìn)行客觀定性，建立模型，給出評估結(jié)果。相較于主觀評估，客觀評估應(yīng)用更廣泛。客觀評估根據(jù)是否得以取到參考圖像的完整或者部分信息分為3類：全參考、半?yún)⒖己蜔o參考。由于無參考評估不需要使用原始圖像的信息，所以在沒有原始圖像的實際應(yīng)用中，無參考圖像質(zhì)量評估更為實用。

現(xiàn)有的大部分無參考方法只針對圖像質(zhì)量進(jìn)行評估。失真類型和圖像質(zhì)量存在著重要關(guān)系。少數(shù)能夠同時評估圖像質(zhì)量評價和預(yù)測失真類型的模型尚未能確定失真類型和圖像質(zhì)量之間的潛在關(guān)系。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是提出一種基于不確定性和概率的多任務(wù)無參考圖像質(zhì)量評估方法及系統(tǒng)，通過提出的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征、學(xué)習(xí)圖像質(zhì)量和失真類型之間的不確定性，不僅能夠評估圖像質(zhì)量，也能夠預(yù)測失真類型，并顯著提高無參考圖像質(zhì)量評估的性能。

本發(fā)明采用以下方案實現(xiàn)：一種基于不確定性和概率的多任務(wù)無參考圖像質(zhì)量評估方法，具體包括以下步驟：

將待訓(xùn)練的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理；首先對其做歸一化處理，然后將歸一化圖像進(jìn)行切塊；

設(shè)計能夠預(yù)測失真類型和圖像質(zhì)量分?jǐn)?shù)的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，并訓(xùn)練該多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)；

將待測圖像進(jìn)行預(yù)處理，生成圖像塊，利用訓(xùn)練好的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測所生成的圖像塊的質(zhì)量分?jǐn)?shù)和失真類型，根據(jù)圖像塊的質(zhì)量分?jǐn)?shù)和失真類型計算待測圖像的質(zhì)量分?jǐn)?shù)和失真類型。

本發(fā)明使用歸一化的圖像塊作為模型輸入，使用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的提取圖像特征，通過失真類型和質(zhì)量分?jǐn)?shù)之間的不確定性同時預(yù)測失真類型和質(zhì)量分?jǐn)?shù)，基于概率計算圖像的失真類型和質(zhì)量分?jǐn)?shù)，這種方法不僅能顯著提高無參考圖像質(zhì)量評估的性能，并能同時預(yù)測圖像失真類型。

進(jìn)一步地，所述將待訓(xùn)練的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理具體為：

先將所有失真圖像進(jìn)行歸一化處理，將所有歸一化圖像有重疊地切分成若干個H×W大小的圖像塊。