[發明專利]基于深度增強學習和語義損失的圖像質量增強方法

有效

• 申請號: 202010861879.4
• 申請日: 2020-08-25
• 公開（公告）號: CN111951207B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 牛玉貞;黃江藝;鄭清煬;陳俊豪
• 申請（專利權）人: 福州大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

1.一種基于深度增強學習和語義損失的圖像質量增強方法，其特征在于：包括以下步驟：

步驟S1：構造兩種數據集，分別為單一程度單一失真類型數據集和不同程度混合失真類型的數據集；

步驟S2：設計一種卷積神經網絡模型，使用單一失真程度單一失真類型數據集訓練，令每一個訓練好的模型為一個圖像恢復動作；設計一個深度增強學習網絡，該深度增強學習網絡由主體網絡結構和動作集組成，動作集由若干個圖像恢復動作和一個停止動作組成；為深度增強學習網絡設計一種包含綜合失真損失和語義損失的損失函數；使用不同程度混合失真類型數據集訓練深度增強學習網絡，用以使該網絡學習到如何通過多次選擇圖像恢復動作逐步恢復出最優的圖像質量，最終得到訓練好的深度增強學習網絡模型即圖像質量增強模型；

步驟S3：將待測的失真圖像劃分為圖像塊，利用訓練好的圖像質量增強模型恢復待測失真圖像的質量，得到最終的圖像質量增強結果；

所述步驟S1具體包括以下步驟：

步驟S11：以PSNR為指標，PSNR低于20dB視為嚴重失真，PSNR在20到30dB之間視為中度失真，PSNR在30到40dB之間視為輕度失真，劃分出三種失真程度；引入五種失真類型：高斯噪聲、高斯模糊、JPEG壓縮損失、雨失真和霧失真；使用matlab的相關函數，任選失真程度和失真類型，對原始圖像加失真：使用imnoise函數添加高斯噪聲；使用FSPECIAL函數添加高斯模糊；使用imwrite函數添加JPEG壓縮損失；使用imnoise函數生成隨機噪聲，對噪聲拉長、旋轉方向模擬不同大小不同方向的雨水，然后與原圖疊加得到雨失真效果；使用imnoise函數添加隨機白噪聲，與原圖疊加后再對圖像使用兩次imfilter函數得到霧失真效果，最終得到15組單一程度和單一失真類型數據集；再制作混合失真類型數據集，對所有原始圖像做3-5次加失真處理，每一次都是任選失真程度和失真類型對原始圖像加失真，最終得到1組不同程度和混合失真類型的數據集；

步驟S12：將每一張處理后的失真圖像和對應的原始圖像作為一組，對每一組的失真圖像和原始圖像分別按照h×w的大小進行裁剪，得到同等份的h×w大小的失真圖像塊和原始圖像塊，將一個失真圖像塊和與之對應的原始圖像塊稱為一個圖像對；

步驟S13：在生成所有圖像對后以圖像對為單位進行隨機打亂，然后按自然數順序對圖像對重新編號并保存，用以確保在訓練過程中讀入圖像對時圖像內容相近的圖像對不會被連續讀入；

所述步驟S2具體包括以下步驟：

步驟S21：設計一種卷積神經網絡模型，網絡使用殘差結構設計，由直接映射部分和殘差部分組成，輸入單一程度單一失真類型數據集，直接映射部分是輸入的直接映射，殘差部分讓輸入通過5層或9層的卷積層，每一層卷積層都是卷積核大小為3×3、步長為1的卷積層，每一層卷積層后都跟上激活函數ReLU；該卷積神經網絡模型的輸出由直接映射部分和殘差部分相加得到；使用15組單一失真程度單一失真類型數據集，訓練出15個針對不同失真程度和失真類型的卷積神經網絡模型，每一個訓練好的卷積神經網絡模型為一個圖像恢復動作；

步驟S22：設計一個深度增強學習網絡模型，用以實現不同程度和混合失真類型圖像的圖像質量增強；

步驟S23：設計綜合失真損失和語義損失的損失函數；在深度增強學習網絡訓練階段，損失函數通過反向傳播更新網絡參數，訓練好的深度增強學習網絡模型稱為圖像質量增強模型；深度增強學習網絡模型的損失函數包括失真損失和語義損失；

所述步驟S3的具體包括以下步驟：

步驟S31：先將待測的失真圖像劃分成多個大小為h×w的圖像塊；打亂圖像塊與圖像塊之間的順序后送入訓練好的圖像質量增強模型中得到每個圖像塊的恢復結果圖像塊；

步驟S32：將恢復結果圖像塊拼接得到與初始圖像大小相同的圖像質量增強結果圖像。