[發(fā)明專利]基于梯度紋理顯著性的多任務(wù)水下圖像的質(zhì)量評(píng)價(jià)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211364039.2
• 申請(qǐng)日: 2022-11-02
• 公開（公告）號(hào): CN115713493A
• 公開（公告）日: 2023-02-24
• 發(fā)明（設(shè)計(jì)）人: 劉彥呈;王帥;劉厶源;朱鵬蒞;陳瀚;郭筠;馬匡旗;馬歡;張勤進(jìn);郭昊昊
• 申請(qǐng)（專利權(quán)）人: 大連海事大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06V20/05;G06V10/44;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/08;G06V10/766
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 李馨

1.一種基于梯度紋理顯著性的多任務(wù)水下圖像的質(zhì)量評(píng)價(jià)方法，其特征在于，包括以下步驟：

采集水下圖像數(shù)據(jù)集，包括失真程度不同的色差失真圖像、模糊圖像和噪聲圖像；

對(duì)水下圖像數(shù)據(jù)集進(jìn)行標(biāo)注，包括失真類型的分類和質(zhì)量分?jǐn)?shù)的評(píng)估；

對(duì)標(biāo)注后的圖像數(shù)據(jù)集進(jìn)行預(yù)處理、獲得水下圖像質(zhì)量評(píng)估數(shù)據(jù)集；

采用sobel算子計(jì)算水下圖像質(zhì)量評(píng)估數(shù)據(jù)集的圖像梯度獲取對(duì)應(yīng)的梯度圖；

建立基于深度學(xué)習(xí)網(wǎng)絡(luò)模型，將水下圖像質(zhì)量評(píng)估數(shù)據(jù)集的訓(xùn)練集和驗(yàn)證集輸入至網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練得到完成完成訓(xùn)練的網(wǎng)絡(luò)模型，再將水下圖像質(zhì)量評(píng)估數(shù)據(jù)集的測(cè)試集輸入至完成訓(xùn)練的網(wǎng)絡(luò)模型中獲得圖像的失真類型和質(zhì)量評(píng)價(jià)分?jǐn)?shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí)：

利用該網(wǎng)絡(luò)模型對(duì)水下圖像質(zhì)量評(píng)估數(shù)據(jù)集里的水下圖像和對(duì)應(yīng)的梯度圖進(jìn)行特征提取，對(duì)水下圖像和對(duì)應(yīng)的梯度圖進(jìn)行歸一化處理，將二者融合為多通道特征圖并進(jìn)行特征提取得到特征圖；

在特征提取網(wǎng)絡(luò)的基礎(chǔ)上，建立失真類型分類子網(wǎng)絡(luò)和質(zhì)量分?jǐn)?shù)預(yù)測(cè)子網(wǎng)絡(luò)，利用訓(xùn)練集、驗(yàn)證集和測(cè)試集分別對(duì)失真類型分類子網(wǎng)絡(luò)和質(zhì)量分?jǐn)?shù)預(yù)測(cè)子網(wǎng)絡(luò)進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試，生成失真類型預(yù)測(cè)模型和質(zhì)量分?jǐn)?shù)預(yù)測(cè)模型；

失真類型分類子網(wǎng)絡(luò)首先將提取到的特征圖進(jìn)行平均池化，再將特征圖輸入到兩個(gè)全連接層中，輸出三維概率向量并采用sigmoid函數(shù)將范圍編碼為[0,1]，其中三維概率向量表示輸入的第k張圖像的失真類型概率；

質(zhì)量分?jǐn)?shù)預(yù)測(cè)子網(wǎng)絡(luò)將特征圖進(jìn)行全局平均池化后連接兩個(gè)全連接層，在兩個(gè)全連接層中間附加線性整流單元以增加其非線性，質(zhì)量分?jǐn)?shù)預(yù)測(cè)子網(wǎng)絡(luò)的輸出為三維分?jǐn)?shù)向量s(k)，其中三維分?jǐn)?shù)向量表示輸入的第k張圖像的視覺質(zhì)量分?jǐn)?shù)向量；

在上述兩個(gè)子網(wǎng)絡(luò)的基礎(chǔ)上，定義一個(gè)融合層，將失真類型和s(k)進(jìn)行融合，生成一個(gè)總體質(zhì)量評(píng)價(jià)分?jǐn)?shù)

3.根據(jù)權(quán)利要求1所述的方法，其特征在于：對(duì)標(biāo)注后的圖像數(shù)據(jù)集進(jìn)行預(yù)處理時(shí)：針對(duì)單張水下圖像，將多次標(biāo)注的質(zhì)量分?jǐn)?shù)取平均值做為最終質(zhì)量分?jǐn)?shù)，記為平均主觀得分；

當(dāng)最終質(zhì)量分?jǐn)?shù)大于設(shè)定閾值，則認(rèn)為該圖像存在色差、模糊、噪聲的失真情況；

計(jì)算每張圖像的均方差，用于分析預(yù)測(cè)結(jié)果與質(zhì)量分?jǐn)?shù)之間的一致性；

最終采用表示處理后的數(shù)據(jù)集，其中X^(k)表示第k張圖像，p^(k)是一個(gè)多類指示向量，q^(k)是第k張圖像的平均主觀得分，s^(k)是第k張圖像的均方差。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于：計(jì)算圖像的梯度圖時(shí)：其中sobel算子包含兩組3x3的矩陣，分別為橫向和縱向，將sobel算子包含的橫向和縱向矩陣與圖像作平面卷積，分別得出橫向及縱向的亮度差分近似值，如果以A代表原始圖像，G_x和G_y分別代表經(jīng)過橫向和縱向邊緣檢測(cè)的圖像灰度值，其公式如下：