[發(fā)明專利]一種不需要參考圖像的水下圖像質(zhì)量比較方法

在審

• 申請?zhí)枺?/td>: 202210006948.2
• 申請日: 2022-01-05
• 公開（公告）號: CN114549402A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 楊淼;王海文;董金耐;殷歌;劉春秋
• 申請（專利權(quán)）人: 江蘇海洋大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/25;G06K9/62;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 連云港權(quán)策知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32399
• 代理人: 何文豪

本發(fā)明屬于圖像處理和圖像質(zhì)量分析技術(shù)領(lǐng)域，特別是在存在復(fù)雜的混合畸變，缺少高質(zhì)量的參考圖像，且圖像之間的感知差異難以測量的環(huán)境中；本發(fā)明涉及到成對的水下圖像質(zhì)量對比，是基于具有任意內(nèi)容的水下圖像對，不需要參考圖像；具體提出了一種不需要參考圖像的水下圖像質(zhì)量比較方法，將兩幅水下圖像質(zhì)量之間的對比結(jié)果采用一種三元分類模型來描述。用改進的Inception和Reduction模塊對融合后的兩幅圖像全局和局部的圖像質(zhì)量特征差進行感知；基于獲得的圖像間的兩兩質(zhì)量比較結(jié)果進行累加，可以建立各種不同的水下圖像增強方法在不同內(nèi)容水下圖像上應(yīng)用結(jié)果的質(zhì)量比較排序；本發(fā)明不僅僅可以用于水下圖像的質(zhì)量之間的比較，同樣適用于其他由于混合畸變導(dǎo)致的難以感知圖像差異的場景。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理和圖像質(zhì)量分析技術(shù)領(lǐng)域，具體涉及一種不需要參考圖像的水下圖像質(zhì)量比較方法。

背景技術(shù)

水下視覺是一個關(guān)鍵的感知技術(shù)，涉及到大量的有用信息，對水下機器人的自主作業(yè)，水下工程監(jiān)測具有重要的價值。水下圖像的圖像或視頻質(zhì)量測評對于高質(zhì)量的圖像篩選、水下圖像增強/恢復(fù)結(jié)果比較、水下圖像重建和成像系統(tǒng)設(shè)計具有重要意義。由于水下環(huán)境中沒有參考圖像可以關(guān)聯(lián)，水下圖像的混合失真程度無法進行分組。此外，不同內(nèi)容圖像的模糊和低對比度使得在比較兩幅水下圖像的質(zhì)量時很難做出選擇。因此，在比較不同增強方法的過程中，缺乏符合主觀感知的有效的對比兩幅水下圖像質(zhì)量的方法。圖像質(zhì)量的感知與視覺注意力機制有著不可避免的關(guān)系。然而，我們對失真類型和注意區(qū)域?qū)λ聢D像質(zhì)量判斷的影響知之甚少。值得注意的是，當(dāng)觀察者同時觀看兩幅圖像時，圖像質(zhì)量對視覺注意力的影響就會顯著表現(xiàn)出來。

發(fā)明內(nèi)容

由于水下圖像中存在混合失真以及沒有高質(zhì)量的圖像能參考，使得水下圖像之間的感知質(zhì)量差異難以測量。水下圖像質(zhì)量比較過程中對兩幅圖像質(zhì)量差別的不確定性對不同水下圖像增強方法的結(jié)果的排序提出了挑戰(zhàn)，基于上述問題，提出一種不需要參考圖像的水下圖像質(zhì)量比較方法，基于深度學(xué)習(xí)的成對水下圖像質(zhì)量對比模型(DP-UIQC)，用于預(yù)測水下圖像對的真實圖像質(zhì)量比較，并在此基礎(chǔ)上建立不同內(nèi)容的水下圖像質(zhì)量排序結(jié)果。本發(fā)明所提出的DP-UIQC方法與參考圖像沒有關(guān)聯(lián)，可以推廣到不同內(nèi)容的圖像之間的質(zhì)量判別。

為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

第一步，我們將數(shù)據(jù)集中水下圖像進行配對分為三類，并將其分別標(biāo)記為偏好{+1，-1}，{-1，+1}，{0，0}。其中{+1，-1}表示左邊/上邊圖像的質(zhì)量分?jǐn)?shù)高于右邊/下邊圖像的質(zhì)量分?jǐn)?shù)，{-1，+1}標(biāo)簽則相反。{0,0}標(biāo)簽表示兩幅水下圖像其相對質(zhì)量在視覺上很難被觀察者區(qū)分。

第二步，建立成對水下圖像質(zhì)量對比模型(DP-UIQC方法概述)

DP-UIQC的整個框架在附圖5中展示，卷積層參數(shù)化、最大池化以及層與層之間的連通性詳見附表圖I。

兩幅水下圖像，輸入到預(yù)訓(xùn)練好的InceptionResNetV2模型中提取兩幅圖像的特征。將兩幅水下圖像被InceptionResNetV2提取出來的特征集合到一起，作為下一個CNN-pair模塊的輸入去學(xué)習(xí)質(zhì)量的差異，利用改進的Inception模塊來感知圖像對中的全局和局部質(zhì)量差異。通過Reduction模塊對多尺度特征進行縮減，避免了瓶頸問題。在三層FC線性映射后，由Softmax函數(shù)對偏好標(biāo)簽進行分類。

第三步，Inception-Reduction模塊

人類的視覺系統(tǒng)可以從背景中區(qū)分物體，定位感興趣的物體，檢測環(huán)境中的運動和方向。初級視覺皮層的一些神經(jīng)元具有雙目特性。根據(jù)韋伯的規(guī)則，在觀看一對圖像時，兩個圖像對彼此的視覺感知有特定的影響。視覺感知首先會受到整體質(zhì)量差異的影響，如亮度、飽和度平均值和色相差異。對于質(zhì)量相近的圖像區(qū)域，會自主比較局部細(xì)節(jié)表現(xiàn)力和邊緣強度。我們將圖像對的級聯(lián)特征輸入到兩個Inception-Reduction模塊，以獲得不同尺度下的質(zhì)量差異感知。