[發明專利]基于不確定性和概率的多任務圖像質量評估方法及系統

有效

• 申請號: 202010563396.6
• 申請日: 2020-06-19
• 公開（公告）號: CN111724370B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 牛玉貞;施偉峰
• 申請（專利權）人: 福州大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08;G06V10/98;G06V10/764;G06V10/82;G06K9/62
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

本發明涉及一種基于不確定性和概率的多任務無參考圖像質量評估方法及系統，首先將待訓練的數據進行數據預處理；然后設計能夠預測失真類型和圖像質量分數的多任務卷積神經網絡，并訓練該多任務卷積神經網絡；最后將待測圖像進行預處理，生成圖像塊，利用訓練好的多任務卷積神經網絡預測所生成的圖像塊的質量分數和失真類型，根據圖像塊的質量分數和失真類型計算待測圖像的質量分數和失真類型。本發明通過提出的多任務卷積神經網絡提取圖像特征、學習圖像質量和失真類型之間的不確定性，不僅能夠評估圖像質量，也能夠預測失真類型，并顯著提高無參考圖像質量評估的性能。

技術領域

本發明涉及圖像處理技術領域，特別是一種基于不確定性和概率的多任務無參考圖像質量評估方法及系統。

背景技術

伴隨互聯網的快速成長，數字圖像已然成為一種不可缺少的信息傳輸載體。移動互聯網的普及、人們的需求、日益暴增的圖像數量，促進了圖像處理算法地不斷更新迭代和計算機視覺領域的快速發展。隨著多媒體技術的發展，現在人們對圖片實時分享、發送和接收，以及即時在線直播的要求越來越高，使得對圖像質量評估算法的要求也越來越高。然而，圖像在拍攝、編解碼、存儲、傳輸、處理過程中難以避免地會丟失部分或完整原始數據，導致圖像產生失真現象，出現噪點、變形、扭曲、缺失等現象。失真會不同程度地丟失原始圖像中所包含的信息，從而影響會影響人們對圖像的觀感、影響人們從圖像中獲取信息。圖像質量評估可以根據圖像的失真類型及失真程度來對圖像的質量進行評估，從而為后續的圖像處理技術，比如超分辨率、圖像分割、圖像去噪、圖像復原、風格遷移和顯著性檢測等提供基礎，是圖像處理領域的關鍵技術之一，對于當下圖像在醫學、航空、軍事等領域來說是至關重要的。

圖像質量評估一般有主觀和客觀之分。主觀圖像質量評估是指由多個評估員對數據集的圖像質量打分后進行統計加工合成，此方法直接地反映了人類視覺系統對圖像的直觀感知和視覺體驗效果，評估結果最符合人類的視覺感官體驗。客觀圖像質量評估是指由計算機按照一定的算法進行實現，算法根據人類視覺系統，對失真圖像進行客觀定性，建立模型，給出評估結果。相較于主觀評估，客觀評估應用更廣泛。客觀評估根據是否得以取到參考圖像的完整或者部分信息分為3類：全參考、半參考和無參考。由于無參考評估不需要使用原始圖像的信息，所以在沒有原始圖像的實際應用中，無參考圖像質量評估更為實用。

現有的大部分無參考方法只針對圖像質量進行評估。失真類型和圖像質量存在著重要關系。少數能夠同時評估圖像質量評價和預測失真類型的模型尚未能確定失真類型和圖像質量之間的潛在關系。

發明內容

有鑒于此，本發明的目的是提出一種基于不確定性和概率的多任務無參考圖像質量評估方法及系統，通過提出的多任務卷積神經網絡提取圖像特征、學習圖像質量和失真類型之間的不確定性，不僅能夠評估圖像質量，也能夠預測失真類型，并顯著提高無參考圖像質量評估的性能。

本發明采用以下方案實現：一種基于不確定性和概率的多任務無參考圖像質量評估方法，具體包括以下步驟：

將待訓練的數據進行數據預處理；首先對其做歸一化處理，然后將歸一化圖像進行切塊；

設計能夠預測失真類型和圖像質量分數的多任務卷積神經網絡，并訓練該多任務卷積神經網絡；

將待測圖像進行預處理，生成圖像塊，利用訓練好的多任務卷積神經網絡預測所生成的圖像塊的質量分數和失真類型，根據圖像塊的質量分數和失真類型計算待測圖像的質量分數和失真類型。

本發明使用歸一化的圖像塊作為模型輸入，使用多任務卷積神經網絡的提取圖像特征，通過失真類型和質量分數之間的不確定性同時預測失真類型和質量分數，基于概率計算圖像的失真類型和質量分數，這種方法不僅能顯著提高無參考圖像質量評估的性能，并能同時預測圖像失真類型。

進一步地，所述將待訓練的數據進行數據預處理具體為：

先將所有失真圖像進行歸一化處理，將所有歸一化圖像有重疊地切分成若干個H×W大小的圖像塊。