[發(fā)明專利]基于自監(jiān)督的無參考圖像質(zhì)量評估方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210028835.2
• 申請日: 2022-01-11
• 公開（公告）號: CN114358204A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計）人: 王雋;陳澤文;李兵;胡衛(wèi)明
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T5/00;G06V10/774
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于自監(jiān)督的無參考圖像質(zhì)量評估方法，其特征在于，該無參考圖像質(zhì)量評估方法包括：

步驟S10，構(gòu)建自監(jiān)督無參考圖像質(zhì)量評估模型，所述模型包括共享編碼器的先驗知識學(xué)習(xí)子網(wǎng)絡(luò)和圖像質(zhì)量評估子網(wǎng)絡(luò)，所述先驗知識學(xué)習(xí)子網(wǎng)絡(luò)和所述圖像質(zhì)量評估子網(wǎng)絡(luò)的解碼器之間設(shè)置有知識遷移通道；

步驟S20，以圖像復(fù)原任務(wù)作為圖像質(zhì)量評估任務(wù)的代理任務(wù)，構(gòu)建圖像復(fù)原任務(wù)的第一訓(xùn)練集，并通過所述第一訓(xùn)練集進行所述先驗知識學(xué)習(xí)子網(wǎng)絡(luò)的預(yù)訓(xùn)練；

步驟S30，通過所述知識遷移通道將預(yù)訓(xùn)練的先驗知識學(xué)習(xí)子網(wǎng)絡(luò)的解碼器的參數(shù)遷移至圖像質(zhì)量評估子網(wǎng)絡(luò)的解碼器；

步驟S40，獲取少量的圖像質(zhì)量評估任務(wù)的第二訓(xùn)練集，并通過所述第二訓(xùn)練集進行預(yù)訓(xùn)練的先驗知識學(xué)習(xí)子網(wǎng)絡(luò)和參數(shù)遷移后的圖像質(zhì)量評估子網(wǎng)絡(luò)的微調(diào)訓(xùn)練；

步驟S50，以微調(diào)訓(xùn)練的先驗知識學(xué)習(xí)子網(wǎng)絡(luò)和圖像質(zhì)量評估子網(wǎng)絡(luò)作為訓(xùn)練好的自監(jiān)督無參考圖像質(zhì)量評估模型，并通過訓(xùn)練好的自監(jiān)督無參考圖像質(zhì)量評估模型進行無參考圖像的質(zhì)量評估。

2.根據(jù)權(quán)利要求1所述的基于自監(jiān)督的無參考圖像質(zhì)量評估方法，其特征在于，所述先驗知識學(xué)習(xí)子網(wǎng)絡(luò)和所述圖像質(zhì)量評估子網(wǎng)絡(luò)，其解碼器為失真信息感知模塊；

所述失真信息感知模塊包括順次連接的一個第一拼接層、一個Inception層、一個第二拼接層和三個3×3卷積層；

所述Inception層包括第一分支、第二分支、第三分支和第四分支，所述第一分支為一個1×1卷積層，所述第二分支為順次連接的一個1×1卷積層和一個5×5卷積層，所述第三分支為順次連接的一個1×1卷積層、一個3×3卷積層和一個1×1卷積層，所述第四分支為順次連接的一個最大值池化層和一個3×3卷積層。

3.根據(jù)權(quán)利要求1所述的基于自監(jiān)督的無參考圖像質(zhì)量評估方法，其特征在于，所述知識遷移通道包括知識收集模塊和知識分發(fā)模塊；

所述知識收集模塊包括m個分支輸入和一個第三拼接層，每個分支輸入包括順次連接的一個1×1卷積層和一個池化層，m個分支的池化層一起連接到第一拼接層，其中，m為先驗知識學(xué)習(xí)子網(wǎng)絡(luò)的解碼器輸出的圖像多尺度上下文特征的尺度數(shù)；

所述知識分發(fā)模塊包括與所述第三拼接層連接的n個分支輸出，每個分支輸出包括順次連接的一個第四拼接層和一個1×1卷積層，其中，n為圖像質(zhì)量評估子網(wǎng)絡(luò)的解碼器輸出的圖像多尺度上下文特征的尺度數(shù)。

4.根據(jù)權(quán)利要求3所述的基于自監(jiān)督的無參考圖像質(zhì)量評估方法，其特征在于，所述先驗知識學(xué)習(xí)子網(wǎng)絡(luò)，其基于圖像復(fù)原任務(wù)的第一訓(xùn)練集的預(yù)訓(xùn)練的第一損失函數(shù)為：

其中，I分別代表第一訓(xùn)練集中的參考圖像和對應(yīng)的復(fù)原圖像I，代表參考圖像和對應(yīng)的復(fù)原圖像I之間的第一損失函數(shù)，代表參考圖像和對應(yīng)的復(fù)原圖像I之間的L1損失函數(shù)，代表參考圖像和對應(yīng)的復(fù)原圖像I之間的SSIM損失函數(shù)，代表參考圖像和對應(yīng)的復(fù)原圖像I之間的感知損失函數(shù)，ε,ρ,μ為預(yù)設(shè)的用于調(diào)節(jié)L1損失函數(shù)、SSIM損失函數(shù)和感知損失函數(shù)在第一損失函數(shù)所占比重的超參數(shù)，N為預(yù)訓(xùn)練的第一訓(xùn)練集的參考圖像和對應(yīng)的復(fù)原圖像I的圖像對的個數(shù)。

5.根據(jù)權(quán)利要求4所述的基于自監(jiān)督的無參考圖像質(zhì)量評估方法，其特征在于，所述預(yù)設(shè)的用于調(diào)節(jié)L1損失函數(shù)、SSIM損失函數(shù)和感知損失函數(shù)在第一損失函數(shù)所占比重的超參數(shù)，分別設(shè)置為ε＝1，ρ＝0.08，μ＝1。

6.根據(jù)權(quán)利要求4所述的基于自監(jiān)督的無參考圖像質(zhì)量評估方法，其特征在于，所述參考圖像和對應(yīng)的復(fù)原圖像I之間的L1損失函數(shù)其表示為：

其中，‖ ‖₁代表L1范數(shù)。

7.根據(jù)權(quán)利要求4所述的基于自監(jiān)督的無參考圖像質(zhì)量評估方法，其特征在于，所述參考圖像和對應(yīng)的復(fù)原圖像I之間的SSIM損失函數(shù)其表示為：

其中，代表求參考圖像和對應(yīng)的復(fù)原圖像I之間的結(jié)構(gòu)相似度。