[發(fā)明專利]基于視覺注意力機(jī)制的盲圖像質(zhì)量評估方法

在審

• 申請?zhí)枺?/td>: 202310003353.6
• 申請日: 2023-01-03
• 公開（公告）號: CN116310375A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 于天河;孫巖;程士成
• 申請（專利權(quán)）人: 哈爾濱理工大學(xué)
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/46;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/084;G06T7/00
• 代理公司: 上海思真遠(yuǎn)達(dá)專利代理事務(wù)所(特殊普通合伙) 31481
• 代理人: 解麗麗

1.基于視覺注意力機(jī)制的盲圖像質(zhì)量評估方法，其特征在于：通過以下步驟實(shí)現(xiàn)：

步驟1、將原始圖像進(jìn)行尺寸限定后輸入特征提取網(wǎng)絡(luò)A提取高層特征和低層特征；

步驟2、將原圖進(jìn)行預(yù)處理生成恰可察覺失真圖和顯著圖，將恰可察覺失真圖和顯著圖輸入特征提取網(wǎng)絡(luò)B提取高層特征；

步驟3、將步驟1提取的低層特征通過各自的降維池化模塊得到特征向量；

步驟4、將步驟1、步驟2提取的高層特征和步驟3得到的特征進(jìn)行特征融合；

步驟5、根據(jù)融合后的特征向量在質(zhì)量回歸網(wǎng)絡(luò)得到質(zhì)量分?jǐn)?shù)。

2.根據(jù)權(quán)利要求1所述的基于視覺注意力機(jī)制的盲圖像質(zhì)量評估方法，其特征在于：所述的步驟1中的尺寸限定為輸入圖片尺寸限制在n×n范圍內(nèi)，當(dāng)圖像寬或高大于n時(shí)，將圖像大于n的寬或高縮放至n，n取512像素。

3.根據(jù)權(quán)利要求1所述的基于視覺注意力機(jī)制的盲圖像質(zhì)量評估方法，其特征在于：所述的步驟1中特征提取網(wǎng)絡(luò)A以MobilenetV2網(wǎng)絡(luò)為基礎(chǔ)，在每個(gè)瓶頸結(jié)構(gòu)的最后一個(gè)倒殘差中添加混合注意力模塊，所述的低層特征為第二個(gè)和第四個(gè)瓶頸結(jié)構(gòu)輸出的特征圖，高層特征為網(wǎng)絡(luò)最后一個(gè)瓶頸結(jié)構(gòu)輸出的特征圖，添加的混合注意力模塊中通道注意力具體操作如下：

C＝Mul(σ(a(K₁(GAP(m)),K₂(GMP(m)))),m)

其中，m為要經(jīng)過通道注意力模塊的特征圖，GAP和GMP分別為對m做全局最大池化和全局平均池化操作，K₁和K₂為對GAP操作和GMP操作后的特征進(jìn)行1×1自適應(yīng)卷積操作，a為將K₁和K₂操作后的特征進(jìn)行對應(yīng)元素相加，σ為sigmod操作，Mul為將m和σ操作后的通道權(quán)重進(jìn)行對應(yīng)相乘，將經(jīng)過通道注意模塊的C輸入進(jìn)空間注意力，空間注意力為CBAM注意力模塊的空間注意力部分。

4.根據(jù)權(quán)利要求1所述的基于視覺注意力機(jī)制的盲圖像質(zhì)量評估方法，其特征在于：所述步驟2中將顯著圖和恰可察覺失真圖拼接為兩通道圖像，顯著圖作為恰可察覺失真圖的空間注意力部分，特征提取網(wǎng)絡(luò)B為步驟1中網(wǎng)絡(luò)去掉空間注意力模塊。

5.根據(jù)權(quán)利要求1所述的基于視覺注意力機(jī)制的盲圖像質(zhì)量評估方法，其特征在于：所述的步驟3的降維池化模塊包括平均池化、1×1卷積和SPP池化，將步驟1提取的低層特征，經(jīng)過平均池化將特征圖降采樣，再經(jīng)過1×1卷積減小通道數(shù)，最后經(jīng)過SPP池化將特征圖轉(zhuǎn)為一維特征向量。

6.根據(jù)權(quán)利要求1所述的基于視覺注意力機(jī)制的盲圖像質(zhì)量評估方法，其特征在于：所述的步驟4包含兩次特征融合，首先將步驟1、步驟2提取的高層特征進(jìn)行通道拼接，拼接好的特征送入自適應(yīng)平均池化得到一個(gè)特征向量，隨后將得到的特征向量與步驟3得到的特征向量進(jìn)行拼接，得到最終要輸入質(zhì)量回歸網(wǎng)絡(luò)的特征。