[發(fā)明專利]基于生成對(duì)抗網(wǎng)絡(luò)路面裂縫圖像超分辨率重建方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010548216.7
• 申請(qǐng)日: 2020-06-16
• 公開（公告）號(hào): CN111986079A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 孫朝云;李偉;郝雪麗;丁明航;徐磊;裴莉莉;戶媛姣
• 申請(qǐng)（專利權(quán)）人: 長(zhǎng)安大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/04;G06K9/62
• 代理公司: 西安恒泰知識(shí)產(chǎn)權(quán)代理事務(wù)所 61216
• 代理人: 李婷;趙中霞

本發(fā)明公開了基于生成對(duì)抗網(wǎng)絡(luò)路面裂縫圖像超分辨率重建方法及裝置，采集高分辨率路面裂縫圖像并進(jìn)行降采樣處理，得到相同數(shù)量的低分辨率路面裂縫圖像；對(duì)低分辨率路面裂縫圖像與高分辨率路面裂縫圖像進(jìn)行兩兩配對(duì)，并將配對(duì)后的路面裂縫圖像輸入到生成對(duì)抗網(wǎng)絡(luò)中，輸出為超分辨率圖像集；訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)，優(yōu)化生成對(duì)抗網(wǎng)絡(luò)參數(shù)，獲得優(yōu)化后的生成對(duì)抗網(wǎng)絡(luò)作為圖像超分辨率重建模型。本發(fā)明采用深度學(xué)習(xí)方法對(duì)路面裂縫圖像進(jìn)行超分辨率重建，提高了圖像重建的準(zhǔn)確度；通過(guò)對(duì)SRGAN方法進(jìn)行改進(jìn)，能夠更加適合所處理的路面裂縫圖像，且在重建圖像的細(xì)節(jié)紋理表現(xiàn)上更加自然，可直接用于路面裂縫檢測(cè)。

技術(shù)領(lǐng)域

本發(fā)明屬于路面裂縫檢測(cè)領(lǐng)域，具體涉及一種基于生成對(duì)抗網(wǎng)絡(luò)路面裂縫圖像超分辨率重建模型構(gòu)建方法及裝置。

背景技術(shù)

在實(shí)際路面裂縫圖像的采集過(guò)程中，拍攝設(shè)備通常會(huì)遭到運(yùn)動(dòng)速度、設(shè)備質(zhì)量、環(huán)境光線等非常多外部噪聲的干擾，采集到的路面裂縫圖像往往存在畫質(zhì)較差的問(wèn)題。低分辨率圖像相較于高分辨率圖像畫質(zhì)十分模糊，信息缺失嚴(yán)重，而且裂縫處的紋理不夠銳利。若是直接利用低分辨率圖片進(jìn)行裂縫檢測(cè)，最終檢測(cè)的精確度可能無(wú)法滿足實(shí)際需求。為了解決不同成像設(shè)備的硬件制約，國(guó)內(nèi)外眾多學(xué)者對(duì)于如何提升圖像分辨率展開了大量的研究，同時(shí)將這種能夠?qū)D像固有分辨率變大的方法叫作圖像超分辨率重建方法。利用這種方法便可以在拋開硬件制約的同時(shí)，提升路面裂縫識(shí)別的精度，為后續(xù)路面養(yǎng)護(hù)提供重要的參考價(jià)值。

目前，圖像超分辨率重建研究領(lǐng)域內(nèi)已提出繁多的方法，但基本可劃分為兩類：一類是傳統(tǒng)的非深度學(xué)習(xí)方法；另一類則是新興的深度學(xué)習(xí)方法。在非深度學(xué)習(xí)方法中又包含了基于插值、重建、學(xué)習(xí)等方法。其中基于插值方法中較為經(jīng)典的雙線性插值、鄰近插值等，只是通過(guò)對(duì)低像素?cái)?shù)值進(jìn)行簡(jiǎn)單計(jì)算填充出一幅高分辨率圖像，本質(zhì)上沒(méi)有增加更多的圖像信息，因此在視覺(jué)效果上表現(xiàn)較差。基于重建方法較為經(jīng)典的投影法、概率分析等，是通過(guò)對(duì)圖像先驗(yàn)信息進(jìn)行迭代重建出高分辨率圖像。該類方法對(duì)圖像先驗(yàn)信息充分依賴，因此在圖像分辨率較低，先驗(yàn)信息不足時(shí)，該類方法恢復(fù)出的高分辨率圖像依舊存在細(xì)節(jié)紋理邊緣包含鋸齒的問(wèn)題。基于學(xué)習(xí)方法較為經(jīng)典的稀疏表示法、鄰域嵌入法等，是通過(guò)機(jī)器學(xué)習(xí)策略引入了低分辨率圖像中并未包含的先驗(yàn)信息，相較前兩種方法，重建出的高分辨率圖像效果較好，但圖像細(xì)節(jié)上和原始圖像依然存在很大差距。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供了一種基于生成對(duì)抗網(wǎng)絡(luò)路面裂縫圖像超分辨率重建方法及裝置，解決現(xiàn)有技術(shù)無(wú)法準(zhǔn)確、高效對(duì)路面裂縫圖像進(jìn)行超分辨率重建的技術(shù)問(wèn)題。

為了解決上述技術(shù)問(wèn)題，本發(fā)明采用如下技術(shù)方案予以實(shí)現(xiàn)：

一種基于生成對(duì)抗網(wǎng)絡(luò)路面裂縫圖像超分辨率重建模型構(gòu)建方法，包括以下步驟：

步驟1，采集N幅高分辨率路面裂縫圖像，作為目標(biāo)圖像集；

步驟2，對(duì)N幅高分辨率路面裂縫圖像進(jìn)行降采樣處理，得到相同數(shù)量的N幅低分辨率路面裂縫圖像，作為待重建圖像集；

步驟3，對(duì)N幅低分辨率路面裂縫圖像與N幅高分辨率路面裂縫圖像進(jìn)行兩兩配對(duì)，并將配對(duì)后的N對(duì)路面裂縫圖像作為輸入圖像集；

步驟4，將輸入圖像集中的待重建圖像集作為輸入，超分辨率圖像集作為輸出，訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)；

所述生成對(duì)抗網(wǎng)絡(luò)包括依次設(shè)置的生成器和判別器；

獲得優(yōu)化后的生成對(duì)抗網(wǎng)絡(luò)作為圖像超分辨率重建模型。

本發(fā)明還包括如下技術(shù)特征：

具體的，所述步驟2中的高分辨率路面裂縫圖像進(jìn)行降采樣處理是將高分辨率路面裂縫圖像的圖像尺寸進(jìn)行4倍的縮減。

具體的，所述生成器包括14個(gè)卷積層，其中第2層卷積層到第11層卷積層兩兩結(jié)合構(gòu)成殘差塊，并使用ReLU函數(shù)作為激活函數(shù)。