[發明專利]一種無參考的圖像去雨質量評價系統

有效

• 申請號: 201910324113.X
• 申請日: 2019-04-22
• 公開（公告）號: CN110097541B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 吳慶波;王雷;李輝;魏浩冉;吳晨豪;羅昊
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 鄒裕蓉

本發明提出一種無參考的圖像去雨質量評價系統，包括多尺度特征前向提取路徑、多尺度特征后向提取路徑、門控融合模塊以及分數預測模塊；待評價圖像輸入至多尺度特征前向提取路徑后，再經多尺度特征后向提取路徑輸出多尺度特征至門控融合模塊，門控融合模塊對各尺度特征進行加權融合后輸出至分數預測模塊得到分數。雙向門控融合網絡先通過前向路徑得到高維特征，再通過后向路徑得到更多圖像局部內容、上下文信息，最終通過門控融合得到圖像的多尺度特征。本發明用來預測人類對不同去雨結果的感知質量，有助于在真實的雨景中評估和開發。

技術領域

本發明涉及圖像處理中去雨技術。

背景技術

去雨質量評價(Deraining Quality Assessment,DQA)在評價和指導圖像去雨算法的設計方面起著重要的作用。由于在實際下雨天氣中不存在無雨圖像，現有的去雨算法通過模擬非常有限類型的雨，這遠遠不足以評估去雨算法的實用性。

在去雨質量評價領域，傳統方法由于對無雨真實圖像和全參考圖像質量評價(如PSNR SSIM)的依賴，所有現有的圖像去雨算法都只能在人造數據上得到評估結果。與各種真實的雨景相比，計算機合成的降雨圖片遠遠不能保證去雨算法的實用性。同時，對真實降雨圖像進行質量評價無法驗證每種去雨算法的統計意義。就我們所知，目前還沒有專門為去雨圖像設計的盲圖像質量評估(BIQA)模型。

發明內容

本發明所要解決的技術問題是，針對去雨圖像具有各向異性和內容多變性，提出一種融合了圖像的多尺度特征的雙向門控融合網絡(B-GFN)的去雨質量評價系統。

本發明為解決上述技術問題所采用的技術方案是，一種無參考的圖像去雨質量評價系統，包括多尺度特征前向提取路徑、多尺度特征后向提取路徑、門控融合模塊以及分數預測模塊；待評價圖像輸入至多尺度特征前向提取路徑后，再經多尺度特征后向提取路徑輸出多尺度特征至門控融合模塊，門控融合模塊對各尺度特征進行加權融合后輸出至分數預測模塊得到分數。

本發明提出了一種盲圖質量評估模型來準確地預測去雨質量。由于，我們提出了一種雙向門控融合網絡(B-GFN)，該網絡先通過前向路徑得到高維特征，再通過后向路徑得到更多圖像局部內容、上下文信息，最終通過門控融合得到圖像的多尺度特征。

本發明的有益效果是，提出雙向門控融合網絡(B-GFN)用來預測人類對不同去雨結果的感知質量，有助于在真實的雨景中評估和開發。

附圖說明

圖1為實施例系統網絡結構圖。

具體實施方式

如圖1所示，給出了所提出的DQA模型的體系結構，即雙向門控融合網絡(B-GFN)。多尺度特征前向提取路徑包括1個卷積與ReLU塊、1個最大池化模塊、尺度從大到小的4級特征前向提取單元；多尺度特征后向提取路徑包括尺度從小到大的4級特征后向提取單元、3級上采樣模塊、3級加法運算模塊以及4級空間金字塔池化模塊。

多尺度特征前向提取路徑中，待評價圖像輸入內核為7*7的卷積與ReLU塊CB后(得到通道數為96尺度為160*160的圖像譜)經最大池化模塊maxPool后(得到通道數為96尺度為80*80的圖像譜)輸入至逐級串聯的特征前向提取單元，除第4級之外的每級尺度下的特征前向提取單元輸出至下一級特征前向提取單元以及多尺度特征后向提取路徑中相同尺度的特征提取模塊中，第4級特征前僅向提取單元輸出至多尺度特征后向提取路徑中第1級特征后向提取單元；經過第1級特征前向提取單元得到通道數為192尺度為40*40的圖像譜，經第2級特征前向提取單元得到通道數為384尺度為20*20的圖像譜，經第3級特征前向提取單元得到通道數為1056尺度為10*10的圖像譜，經第4級特征前向提取單元得到通道數為2208尺度為5*5的圖像譜。特征前向提取單元包括稠密連接塊DB以及轉換層TL；稠密連接塊的輸入為特征前向提取單元的輸入，稠密連接塊的輸出與轉換層的輸入連接，轉換層的輸出為特征前向提取單元的輸出；稠密連接塊與densenet161具有相同的結構。