[發明專利]一種不需要參考圖像的水下圖像質量比較方法

在審

• 申請號: 202210006948.2
• 申請日: 2022-01-05
• 公開（公告）號: CN114549402A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 楊淼;王海文;董金耐;殷歌;劉春秋
• 申請（專利權）人: 江蘇海洋大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/25;G06K9/62;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 連云港權策知識產權代理事務所(特殊普通合伙) 32399
• 代理人: 何文豪

1.一種不需要參考圖像的水下圖像質量比較方法，其特征在于所述方法如下：

S1: 數據集水下圖像分類標記

將數據集中水下圖像進行配對，并分為三類, 并將其分別標記為偏好{+1，-1}，{-1，+1}，{0，0}；

S2: 建立成對水下圖像質量對比模型

將兩幅水下圖像，輸入到預訓練好的InceptionResNetV2模型中提取兩幅圖像的特征，將提取出來的特征集合到一起，作為下一個CNN-pair模塊的輸入去學習質量的差異，在CNN-pair模塊中利用改進的Inception模塊來感知圖像對中的全局和局部質量差異，通過Reduction模塊對多尺度特征進行縮減，在三層全卷積線性映射后，由Softmax函數對偏好標簽進行分類；

S3: 改進Inception-Reduction模塊

將圖像對的集合特征輸入到兩個Inception-Reduction模塊，以獲得不同尺度下的質量差異感知，Inception模塊由多個不同大小的卷積核組成，采用卷積層和平均池化Avgpooling操作來提取前一層輸出的特征；在Inception和Reduction模塊中增加了一個1×1卷積來減小通道數的同時增加模型的非線性；

S4:訓練

采用反向傳播的方法計算損失函數對所有模型參數的梯度，并采用Adam隨機梯度法對參數進行更新，損失函數為模型輸出與該批次圖像對真實標簽的交叉熵損失，采用L2正則化項；

S5: 測試圖像對的質量比較結果

假設要預測的圖像數據集為P，將數據集中的所有圖像兩兩配對，將每一對圖像對p_i,j的通過本方案所提出的模型進行預測質量對比結果標簽；

若輸出結果為第一類，則對應圖像對質量判斷結果為{+1，-1}，表示左邊/上邊的圖像的質量分數高于右邊/下邊圖像的質量分數，且視覺可感知到此差別；

若輸出結果為第二類，則對應圖像對質量判斷結果為{-1，+1}，表示左邊/上邊的圖像的質量分數低于右邊/下邊圖像的質量分數，且視覺可感知到此差別；

若輸出結果為第三類，則對應圖像對的質量判斷結果為{0，0}，表示兩幅水下圖像其相對質量的差別很難被觀察者區分。

2.根據權利要求1所述的一種不需要參考圖像的水下圖像質量比較方法，其特征在于：所述S1中{+1，?1}表示左邊/上邊圖像的質量分數高于右邊/下邊圖像的質量分數，{?1，+1}表示右邊/下邊圖像的質量分數低于右邊/下邊圖像的質量分數；{0,0}標簽表示兩幅水下圖像其相對質量在投票時很難被觀察者區分。

3.根據權利要求1所述的一種不需要參考圖像的水下圖像質量比較方法，其特征在于：所述S3中Inception模塊采用大小為1×1，3×3，5×5卷積層和平均池化Avgpooling操作來提取前一層輸出的特征，在Inception和Reduction模塊中增加了一個1×1的卷積來減小通道數的同時增加模型的非線性，跟Grid-reduction模塊對比，最大池化層被3×3的卷積分支代替，目的是以防在最大化池的過程中質量差特征的損失。

4.根據權利要求1所述的一種不需要參考圖像的水下圖像質量比較方法，其特征在于：所述卷積層均采用Leaky ReLU (LReLU)激活函數；設置batch-size為8，初始學習率設置為0.001，在20個epochs的間隔內變為原來學習率的1/2，學習率減少到0.000005時不再減小。

5.根據權利要求1所述的一種不需要參考圖像的水下圖像質量比較方法，其特征在于：所述S5中通過預測在數據集P中所有圖像對p_i,j的標簽l_i,j，圖像i獲得的累計質量比較分數S_i可計算為：。

6.根據權利要求1所述的一種不需要參考圖像的水下圖像質量比較方法，其特征在于：數據集由水下圖像組成，水下圖像內容多樣，存在不同程度的混合低對比度、不均勻的顏色退化和光照、模糊失真；水下彩色圖像的分辨率是512×512；根據數據集中圖像對應的累計質量標簽值建立水下圖像的初始圖像排序。