[發(fā)明專利]基于自監(jiān)督的無參考圖像質(zhì)量評估方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210028835.2
• 申請日: 2022-01-11
• 公開（公告）號: CN114358204A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計）人: 王雋;陳澤文;李兵;胡衛(wèi)明
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T5/00;G06V10/774
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發(fā)明屬于圖像質(zhì)量評估領(lǐng)域，具體涉及了一種基于自監(jiān)督的無參考圖像質(zhì)量評估方法及系統(tǒng)，旨在解決現(xiàn)有技術(shù)中由于訓(xùn)練數(shù)據(jù)不足而導(dǎo)致圖像質(zhì)量評估模型性能不佳的問題。本發(fā)明包括：構(gòu)建共享編碼器的先驗知識學(xué)習(xí)子網(wǎng)絡(luò)和圖像質(zhì)量評估子網(wǎng)絡(luò)構(gòu)成的自監(jiān)督無參考圖像質(zhì)量評估模型；以圖像復(fù)原任務(wù)作為圖像質(zhì)量評估任務(wù)的代理任務(wù)，進(jìn)行先驗知識學(xué)習(xí)子網(wǎng)絡(luò)的預(yù)訓(xùn)練；通過先驗知識學(xué)習(xí)子網(wǎng)絡(luò)和所述圖像質(zhì)量評估子網(wǎng)絡(luò)的解碼器之間設(shè)置的知識遷移通道進(jìn)行知識遷移；在圖像質(zhì)量評估任務(wù)上進(jìn)行模型微調(diào)訓(xùn)練；通過訓(xùn)練好的模型進(jìn)行無參考圖像的質(zhì)量評估。本發(fā)明模型僅在較少的數(shù)據(jù)上進(jìn)行訓(xùn)練就可以獲得很好的性能，訓(xùn)練效率高，圖像質(zhì)量評估的準(zhǔn)確性高。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像質(zhì)量評估領(lǐng)域，具體涉及了一種基于自監(jiān)督的無參考圖像質(zhì)量評估方法及系統(tǒng)。

背景技術(shù)

圖像質(zhì)量評估(IQA，Image Quality Assessment)廣泛應(yīng)用于影音娛樂、醫(yī)療影像、航空遙感等場景中。根據(jù)有無參考圖像，IQA方法可分為全參考、半?yún)⒖己蜔o參考方法。許多應(yīng)用場景中，參考圖像難以獲取，因此無參考IQA(NR-IQA，No-Reference ImageQuality Assessment)方法，即沒有參考圖像的情況下對失真圖像的質(zhì)量進(jìn)行評估，更具實用性，獲得更廣泛的關(guān)注。NR-IQA方法的關(guān)鍵是提取失真圖像的有效表示，然后將其映射為一個質(zhì)量分?jǐn)?shù)。傳統(tǒng)的NR-IQA方法通常采用人工設(shè)計的特征，例如小波變換系數(shù)、離散變換系數(shù)、圖像的亮度系數(shù)等等。近年來，卷積神經(jīng)網(wǎng)絡(luò)(CNN，Convolutional Neural Network)在計算機視覺領(lǐng)域取得一系列進(jìn)展，許多學(xué)者也紛紛借助CNN強大的特征提取能力來提升NR-IQA方法的性能。但訓(xùn)練一個優(yōu)秀的CNN模型需要大量的人工標(biāo)注數(shù)據(jù)，即圖像的質(zhì)量分?jǐn)?shù)。該分?jǐn)?shù)一般在實驗室條件下，讓受試者嚴(yán)格遵守評分規(guī)則給出對失真圖像的質(zhì)量評分，最后對每一幅圖像的質(zhì)量評分取均值所得。因此，IQA數(shù)據(jù)集的制作成本高且耗時長。難以獲取大規(guī)模的標(biāo)注樣本已成為限制NR-IQA模型性能的主要因素之一。為了緩解訓(xùn)練數(shù)據(jù)不足的問題，許多NR-IQA方法采取預(yù)訓(xùn)練機制，首先在其他任務(wù)上進(jìn)行預(yù)訓(xùn)練，然后再遷移到NR-IQA任務(wù)上進(jìn)行微調(diào)，代表模型包括DBCNN和MetaIQA。這些方法普遍在分類任務(wù)上進(jìn)行預(yù)訓(xùn)練，但分類任務(wù)主要關(guān)注高層語義信息，較少關(guān)注底層的失真信息，因此不利于對失真圖像的質(zhì)量評估。

一些文獻(xiàn)提出了通過深度雙線性卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行無參考圖像質(zhì)量評估的方法(DBCNN方案)[1]，首先由VGG-16模塊為在ImageNet數(shù)據(jù)集上進(jìn)行物體分類任務(wù)預(yù)訓(xùn)練的模型，然后設(shè)置與VGG-16結(jié)構(gòu)相同的S-CNN模塊，并在失真類型和失真程度的分類任務(wù)上進(jìn)行預(yù)訓(xùn)練。VGG-16負(fù)責(zé)提取輸入圖像的語義特征，S-CNN負(fù)責(zé)提取輸入圖像的失真特征。最后采用雙元線性池化的方法(Bilinear Pooling)將語義和失真特征相融合，輸入到FC層中預(yù)測圖像的質(zhì)量分?jǐn)?shù)。還有一些文獻(xiàn)提出了通過元學(xué)習(xí)方法進(jìn)行無參考圖像質(zhì)量評估的方法(MetaIQA方案)[2]，利用元學(xué)習(xí)的思想，首先通過預(yù)訓(xùn)練掌握部分失真類型，然后再將所學(xué)知識遷移到未知的失真類型上，探索已知失真和未知失真之間的關(guān)聯(lián)性，從而進(jìn)行更好的學(xué)習(xí)。其中模型訓(xùn)練過程主要包括：(1)選擇部分失真類型的失真圖像及其對應(yīng)的質(zhì)量分?jǐn)?shù)，對模型進(jìn)行預(yù)訓(xùn)練；(2)使用目標(biāo)IQA數(shù)據(jù)集中所有失真類型的失真圖像及其對應(yīng)的質(zhì)量分?jǐn)?shù)，對(1)中預(yù)訓(xùn)練好的模型進(jìn)行微調(diào)，最終得到NR-IQA模型。

然而，DBCNN方案采用了兩個預(yù)訓(xùn)練的網(wǎng)絡(luò)來提取語義和失真信息，但提取失真信息的S-CNN也是在分類任務(wù)上進(jìn)行訓(xùn)練的。這導(dǎo)致了當(dāng)失真類型和程度很多時，其預(yù)訓(xùn)練的效果不好，且分類任務(wù)屬于有監(jiān)督學(xué)習(xí)，這也一定程度會導(dǎo)致模型的泛化能力降低。MetaIQA方案采用了元學(xué)習(xí)的思想，利用失真圖像和對應(yīng)的分?jǐn)?shù)輸入到方案網(wǎng)絡(luò)中進(jìn)行預(yù)訓(xùn)練，讓網(wǎng)絡(luò)提前感知不同失真信息的分?jǐn)?shù)水平。但該預(yù)訓(xùn)練的過程依舊依賴于IQA數(shù)據(jù)集，且不同IQA數(shù)據(jù)集的制作過程和打分規(guī)則不同，這會導(dǎo)致在其他數(shù)據(jù)集上微調(diào)時模型不適應(yīng)的問題。且由于預(yù)訓(xùn)練過程只對圖像質(zhì)量分?jǐn)?shù)進(jìn)行約束，這會使得方案模型無法準(zhǔn)確地提取出圖像的語義和失真信息，導(dǎo)致模型可解釋性不強的問題。