[發(fā)明專利]一種無參考圖像質(zhì)量評價(jià)方法及其系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111121862.6
• 申請日: 2021-09-24
• 公開（公告）號: CN113920394A
• 公開（公告）日: 2022-01-11
• 發(fā)明（設(shè)計(jì)）人: 李文光;楊新宇;賀云濤;孟軍輝;李懷建;劉莉
• 申請（專利權(quán)）人: 北京理工大學(xué)
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06K9/62;G06F17/16;G06N3/04;G06N3/08
• 代理公司: 北京權(quán)智天下知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11638
• 代理人: 趙建軍

1.一種無參考圖像質(zhì)量評價(jià)系統(tǒng)，其特征在于，包括：圖像輸入系統(tǒng)、特征提取系統(tǒng)、質(zhì)量評價(jià)網(wǎng)絡(luò)系統(tǒng)；所述圖像輸入系統(tǒng)的輸出端與所述特征提取系統(tǒng)的輸入端連接，所述特征提取系統(tǒng)的輸出端與質(zhì)量評價(jià)網(wǎng)絡(luò)系統(tǒng)的輸入端連接；

其中，所述圖像輸入系統(tǒng)用于選擇圖片；

其中，所述特征提取系統(tǒng)用于求解所述圖像輸入系統(tǒng)輸入的圖像的NSS特征矩陣、簡單特征矩陣和注意力機(jī)制特征、質(zhì)量評價(jià)特征矩陣；

其中，所述質(zhì)量評價(jià)網(wǎng)絡(luò)系統(tǒng)用于求解圖片質(zhì)量估計(jì)值。

2.根據(jù)權(quán)利要求1所述的一種無參考圖像質(zhì)量評價(jià)系統(tǒng)，其特征在于，所述特征提取系統(tǒng)包括：卷積神經(jīng)網(wǎng)絡(luò)子系統(tǒng)、注意力機(jī)制特征增強(qiáng)網(wǎng)絡(luò)子系統(tǒng)；

所述卷積神經(jīng)網(wǎng)絡(luò)子系統(tǒng)包括深度卷積神經(jīng)網(wǎng)絡(luò)以及淺層卷積神經(jīng)網(wǎng)絡(luò)，輸入的圖像通過深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像的NSS特征矩陣f_nss、通過淺層卷積神經(jīng)網(wǎng)絡(luò)提取圖像的簡單特征矩陣f_ba以及得分向量

所述注意力機(jī)制特征增強(qiáng)網(wǎng)絡(luò)子系統(tǒng)，其通過所述卷積神經(jīng)網(wǎng)絡(luò)子系統(tǒng)的得分向量簡單特征矩陣f_ba，求解質(zhì)量評價(jià)特征矩陣f_q：

淺層卷積神經(jīng)網(wǎng)絡(luò)的輸出包括：簡單特征矩陣f_ba以及圖片對應(yīng)每類物體的得分向量其中L代表特征向量的個數(shù)；

簡單特征矩陣和得分向量作為所述注意力機(jī)制特征增強(qiáng)網(wǎng)絡(luò)子系統(tǒng)的輸入，所述注意力機(jī)制特征增強(qiáng)網(wǎng)絡(luò)子系統(tǒng)的輸出為注意力特征f_sign、質(zhì)量評價(jià)特征矩陣f_q：

所述注意力機(jī)制特征增強(qiáng)網(wǎng)絡(luò)子系統(tǒng)的求解過程步驟如下：

A.計(jì)算得分向量的抑制向量

B.計(jì)算參數(shù)

將輸入到全連接層神經(jīng)網(wǎng)絡(luò)中，求解即作為全連接層神經(jīng)網(wǎng)絡(luò)的輸入值，輸出結(jié)果為作為全連接層神經(jīng)網(wǎng)絡(luò)的輸入值，輸出結(jié)果為

C.計(jì)算特征向量差以及計(jì)算上述特征向量差中的每個特征差值e_i的權(quán)重θ_i：

輸入到MLP多層感知機(jī)中，MLP神經(jīng)網(wǎng)絡(luò)輸出結(jié)果為θ_i；

D.根據(jù)權(quán)值θ_i對f_ba進(jìn)行篩選，得到顯著性強(qiáng)的特征矩陣f₁：

f_ba是由L個特征向量構(gòu)成的特征矩陣，其中每個特征向量與得分向量中的分值a_i、權(quán)值θ_i一一對應(yīng)；

將θ_i按照大小進(jìn)行排序，選擇前30％權(quán)值對應(yīng)的特征向量予以保留作為顯著性強(qiáng)的特征，其余特征向量改為0向量，得到顯著性強(qiáng)的特征矩陣f₁；

E.采用1×1卷積神經(jīng)網(wǎng)絡(luò)，調(diào)整簡單特征矩陣f_ba，得到特征f₂：

矩陣f_ba輸入到1×1卷積神經(jīng)網(wǎng)絡(luò)，得到矩陣f₂，也即，矩陣f_ba的數(shù)據(jù)作為1×1卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)，1×1卷積神經(jīng)網(wǎng)絡(luò)的輸出數(shù)據(jù)作為矩陣f₂；

F.計(jì)算最終的注意力特征f_sign：

f_sign＝f₁·f₂

G.采用向量融合的方法將簡單特征矩陣f_ba、NSS特征矩陣f_nss和注意力特征f_sign結(jié)合，得到質(zhì)量評價(jià)特征矩陣f_q：

其中α指的是注意力機(jī)制權(quán)重，是一個非負(fù)參數(shù)。

3.根據(jù)權(quán)利要求2所述的一種無參考圖像質(zhì)量評價(jià)系統(tǒng)，其特征在于，將質(zhì)量評價(jià)特征矩陣f_q作為輸入值，通過所述質(zhì)量評價(jià)網(wǎng)絡(luò)求取圖像質(zhì)量估計(jì)值。

4.根據(jù)權(quán)利要求2所述的一種無參考圖像質(zhì)量評價(jià)系統(tǒng)，其特征在于，α＝0.3。