[發明專利]一種語義分割驅動的圖像超分辨率重構方法

有效

• 申請號: 201810901713.3
• 申請日: 2018-08-09
• 公開（公告）號: CN109191392B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 顏波;牛雪靜;譚偉敏
• 申請（專利權）人: 復旦大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于數字圖像處理技術領域，具體為一種語義分割驅動的圖像超分辨率重構方法。本發明方法具體包括：分別獨立訓練圖像超分辨率網絡和語義分割網絡模型；級聯獨立訓練的超分辨率網絡和語義分割網絡；在語義分割任務的驅動下，訓練超分辨率網絡；低分辨率圖像通過任務驅動的網絡處理后，獲得準確的語義分割結果。實驗結果表明，本發明能夠使得超分辨率網絡更好地適應分割任務，為語義分割網絡提供清晰、分辨率高的輸入圖像，有效提高低分辨率圖像的分割精確度。

技術領域

本發明屬于數字圖像處理技術領域，具體涉及一種圖像超分辨率重構方法，更具體地說，涉及一種語義分割驅動的圖像超分辨率重構方法。

背景技術

語義分割是計算機視覺領域的基礎任務之一，它將像素按照不同的語義分成不同的類別，在自動駕駛、圖片內容理解等方面有著廣泛的應用。近年來，深度卷積神經網絡(deepconvolutional neural network,DCNN)不僅在圖像分類任務上有了長足的進步，而且在一些結構化輸出的任務中，如語義分割，取得了突破性的進展。

2015年，Long等人^[1]提出FCN(fully convolutional neural network)，首次將DCNN應用于像素級分類的語義分割任務。為了保持感受野，FCN中用的池化層較多，導致特征圖分辨率較小，分割結果粗糙。Chen等人為了提高特征圖分辨率同時不降低感受野，提出了Deeplab系列的方法^[2-4]，引入了空洞卷積，優化網絡的輸出，在PASCAL VOC 2012^[5]的測試集上達到的86.9％的準確率。然而，在語義分割中，分割圖像中的小物體仍然是很大的挑戰。

圖像超分辨率重構是一種有效提升圖像分辨率、豐富圖像內容的技術手段，可以有效增強小物體或低分辨率圖像中物體的視覺效果。早期基于插值的重構方法很難模擬復雜的真實場景。隨著DCNN的發展，也出現了很多基于神經網絡的超分辨率重構方法。

2015年，Dong等人^[6]提出SRCNN(Super-Resolution Convolutional NeuralNetwork)，將低分辨率圖像作為輸入，高分辨率圖像作為標簽，通過優化目標函數，讓DCNN學習低分辨率圖像和高分辨率圖像之間的映射關系。2016年，Kim等人^[7]加深了網絡架構，用插值的圖像作為輸入，堆疊多個卷積層，并使用殘差的結構加速網絡收斂，取得了更好的重構效果。

上述超分辨率重構方法皆是以提升人眼的感官效果為目的，但是肉眼所看到的圖像和機器看到的圖像并不相同^[8]。針對具體任務而不僅僅是肉眼的感官效果增加圖像的分辨率，將有利于提高具體任務的效果。提出一種語義分割驅動的超分辨率重構方法用于提高小物體或者低分辨率圖像中物體的語義分割精確度具有很強的實用價值。

發明內容

為了克服現有技術的不足，本發明的目的在于提供一種語義分割驅動的圖像超分辨率重構方法，讓超分辨率網絡能夠在語義分割的驅動下更新參數，提高低分辨率圖像的語義分割的準確度。

本發明提供的語義分割驅動的圖像超分辨率重構方法，具體步驟如下：

(1)分別獨立預訓練圖像超分辨率網絡和語義分割網絡模型

用數據集訓練超分辨率網絡，其中，是低分辨率圖像，作為超分辨率網絡的輸入，是高分辨率圖像，作為訓練過程的標簽；所用的超分辨率網絡是一個端到端的網絡，可以為VDSR^[7]、EDSR^[9]或SRCNN^[6]等；