[發(fā)明專利]基于視覺(jué)注意力機(jī)制的盲圖像質(zhì)量評(píng)估方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310003353.6
• 申請(qǐng)日: 2023-01-03
• 公開(kāi)（公告）號(hào): CN116310375A
• 公開(kāi)（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 于天河;孫巖;程士成
• 申請(qǐng)（專利權(quán)）人: 哈爾濱理工大學(xué)
• 主分類號(hào): G06V10/44
• 分類號(hào): G06V10/44;G06V10/46;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/084;G06T7/00
• 代理公司: 上海思真遠(yuǎn)達(dá)專利代理事務(wù)所(特殊普通合伙) 31481
• 代理人: 解麗麗

本發(fā)明公開(kāi)了一種基于視覺(jué)注意力機(jī)制的盲圖像質(zhì)量評(píng)估方法。所述方法包括：將原始圖像進(jìn)行尺寸限定后輸入特征提取網(wǎng)絡(luò)A提取高層特征和低層特征；將原圖進(jìn)行預(yù)處理生成恰可察覺(jué)失真圖和顯著圖，將恰可察覺(jué)失真圖像和顯著圖輸入特征提取網(wǎng)絡(luò)B提取高層特征；將在原圖中提取的低層特征通過(guò)各自的降維池化模塊得到特征向量；將在原圖和恰可察覺(jué)失真圖中提取的高層特征和經(jīng)過(guò)降維池化得到的特征進(jìn)行融合；根據(jù)融合后的特征向量在質(zhì)量回歸網(wǎng)絡(luò)得到質(zhì)量分?jǐn)?shù)。本方法結(jié)合了視覺(jué)注意力機(jī)制，在不同特征提取網(wǎng)絡(luò)中使用了不同的注意力機(jī)制，提取的特征更符合人眼注意力特性，兼顧了圖像中提取的低層特征對(duì)圖像質(zhì)量的影響，使圖像質(zhì)量評(píng)價(jià)更加準(zhǔn)確。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于視覺(jué)注意力機(jī)制的盲圖像質(zhì)量評(píng)估方法，屬于圖像處理領(lǐng)域。

背景技術(shù)

隨著信息技術(shù)的不斷發(fā)展，數(shù)字信息資源爆發(fā)式增長(zhǎng)，通過(guò)電子設(shè)備人們可以獲取復(fù)雜多樣的信息。圖像信息可以直觀的記錄客觀事物，相比于文字信息、語(yǔ)音信息等更加高效。圖像信息常見(jiàn)于日常生活中的各個(gè)領(lǐng)域，是應(yīng)用最廣泛、最高效的信息媒介之一。然而在圖像的采集傳輸?shù)冗^(guò)程中不可避免的會(huì)引入噪聲等干擾導(dǎo)致圖像質(zhì)量下降。低質(zhì)量的圖像嚴(yán)重影響人們的視覺(jué)體驗(yàn)和計(jì)算機(jī)視覺(jué)在各個(gè)領(lǐng)域的發(fā)展，因此，如何準(zhǔn)確評(píng)估圖像的質(zhì)量是一個(gè)基本且重要的問(wèn)題。

在客觀圖像質(zhì)量評(píng)估中，盲圖像質(zhì)量評(píng)估方法由于不需要參考圖像的參與受到了研究者的重點(diǎn)關(guān)注。Kang等人首先將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional?Neural?Network,CNN)應(yīng)用于圖像質(zhì)量評(píng)估，其模型是一個(gè)淺層CNN網(wǎng)絡(luò)，將圖像進(jìn)行切塊處理后輸入網(wǎng)絡(luò)得到質(zhì)量分?jǐn)?shù)。Ma等人同樣基于CNN網(wǎng)絡(luò)，設(shè)計(jì)了一種多任務(wù)學(xué)習(xí)模型，該網(wǎng)絡(luò)包括由兩個(gè)子網(wǎng)絡(luò)構(gòu)成，分別為質(zhì)量預(yù)測(cè)子網(wǎng)和失真類別識(shí)別子網(wǎng)，兩個(gè)子網(wǎng)絡(luò)特征提取部分參數(shù)共享，預(yù)先訓(xùn)練失真類別識(shí)別子網(wǎng)絡(luò)，然后進(jìn)行整體網(wǎng)絡(luò)訓(xùn)練。

目前，大多數(shù)使用深度學(xué)習(xí)進(jìn)行圖像質(zhì)量評(píng)價(jià)的方法直接在失真圖像上提取特征，而人眼視覺(jué)系統(tǒng)并不會(huì)對(duì)圖像的每個(gè)區(qū)域都一視同仁，而是篩選出部分相關(guān)的感興趣區(qū)域并加以側(cè)重處理。這些方法都忽略了人眼視覺(jué)注意機(jī)制對(duì)圖像質(zhì)量評(píng)估的影響，導(dǎo)致預(yù)測(cè)結(jié)果不夠準(zhǔn)確。并且對(duì)于圖像質(zhì)量評(píng)估，只使用深層網(wǎng)絡(luò)提取的特征在一定程度忽略低層特征，如紋理、梯度特征對(duì)質(zhì)量的影響。

發(fā)明內(nèi)容

本發(fā)明的目的在于公開(kāi)一種基于視覺(jué)注意力機(jī)制的盲圖像質(zhì)量評(píng)估方法，使用注意力機(jī)制使網(wǎng)絡(luò)更注重圖像中對(duì)圖像質(zhì)量影響更大的部分，兼顧圖像中提取的低層特征，從而提高對(duì)失真圖像的質(zhì)量分?jǐn)?shù)的預(yù)測(cè)精度。

基于視覺(jué)注意力機(jī)制的盲圖像質(zhì)量評(píng)估方法，包括：

步驟1、將原始圖像進(jìn)行尺寸限定后輸入特征提取網(wǎng)絡(luò)A提取高層特征和低層特征；

步驟2、將原圖進(jìn)行預(yù)處理生成恰可察覺(jué)失真圖和顯著圖，將恰可察覺(jué)失真圖和顯著圖輸入特征提取網(wǎng)絡(luò)B提取高層特征；

步驟3、將步驟1提取的低層特征通過(guò)各自的降維池化模塊得到特征向量；

步驟4、將步驟1、步驟2提取的高層特征和步驟3得到的特征進(jìn)行特征融合；

步驟5、根據(jù)融合后的特征向量在質(zhì)量回歸網(wǎng)絡(luò)得到質(zhì)量分?jǐn)?shù)。

本發(fā)明特點(diǎn)還在于：

步驟1中的尺寸限定為輸入圖片尺寸限制在n×n范圍內(nèi)，當(dāng)圖像寬或高大于n時(shí)，將圖像大于n的寬或高縮放至n，n取512像素。

步驟1中將尺寸限定后的原始失真圖像作為輸入，特征提取網(wǎng)絡(luò)A以MobilenetV2網(wǎng)絡(luò)為基礎(chǔ)，在每個(gè)瓶頸結(jié)構(gòu)的最后一個(gè)倒殘差中添加混合注意力模塊，所述的低層特征為第二個(gè)和第四個(gè)瓶頸結(jié)構(gòu)輸出的特征圖，高層特征為網(wǎng)絡(luò)最后一個(gè)瓶頸結(jié)構(gòu)輸出的特征圖。

添加的混合注意力模塊的構(gòu)成采用先通道模塊后空間模塊的方式。通道注意力具體操作如下：