[發(fā)明專(zhuān)利]一種基于對(duì)抗神經(jīng)網(wǎng)絡(luò)的紅外圖像超分辨率方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110309438.8
• 申請(qǐng)日: 2021-03-23
• 公開(kāi)（公告）號(hào): CN112991177A
• 公開(kāi)（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 肖琳;王海偉;付澤強(qiáng);劉文豪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 數(shù)量級(jí)（上海）信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06T3/40
• 分類(lèi)號(hào): G06T3/40
• 代理公司: 上海申新律師事務(wù)所 31272
• 代理人: 黨蕾

本發(fā)明公開(kāi)了一種基于對(duì)抗神經(jīng)網(wǎng)絡(luò)的紅外圖像的超分辨率方法，應(yīng)用于嵌入式設(shè)備，包括步驟A1，獲取多個(gè)低分辨率的初始紅外圖像，輸入至生成網(wǎng)絡(luò)中得到對(duì)應(yīng)的高分辨率圖像；步驟A2，將高分辨率圖像輸入至判別網(wǎng)絡(luò)中，對(duì)高分辨率圖像進(jìn)行判別；步驟A3，將高分辨率圖像和初始紅外圖像一起輸入至判別網(wǎng)絡(luò)中，分別對(duì)高分辨率圖像和初始紅外圖像進(jìn)行判別；循環(huán)執(zhí)行步驟A1?A3，使得生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)同時(shí)符合各自的訓(xùn)練條件，從而完成訓(xùn)練過(guò)程；將低分辨率紅外圖像輸入至訓(xùn)練完成的生成網(wǎng)絡(luò)中輸出高分辨率紅外圖像。有益效果在于，本方法公開(kāi)的超分辨率方法的結(jié)構(gòu)特別針對(duì)嵌入式設(shè)備而設(shè)計(jì)，使得圖像質(zhì)量上輪廓分明，圖像更清晰。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像超分辨率技術(shù)領(lǐng)域，尤其涉及一種基于對(duì)抗神經(jīng)網(wǎng) 絡(luò)的紅外圖像超分辨率方法。

背景技術(shù)

紅外成像技術(shù)是一種應(yīng)用廣泛的高新技術(shù)。一切物體都可以輻射紅外線(xiàn)， 因此利用探測(cè)儀測(cè)量目標(biāo)本身與背景間的紅外線(xiàn)差并且通過(guò)光電轉(zhuǎn)換，可以 得到紅外圖像。紅外圖像所包含的信息、特征分布、信噪比、清晰度等和可 見(jiàn)光圖像有所區(qū)別，紅外成像技術(shù)在民用、軍事等領(lǐng)域都有諸多應(yīng)用。紅外 成像具有穿透煙霧能力強(qiáng)，探測(cè)距離遠(yuǎn)等很多優(yōu)點(diǎn)。但是紅外成像相對(duì)于可 見(jiàn)光圖像屬于低分辨率圖片，當(dāng)我們對(duì)紅外圖片進(jìn)行圖片分析、目標(biāo)檢測(cè)的 時(shí)候，由于紅外圖片攜帶的場(chǎng)景細(xì)節(jié)信息較少，目標(biāo)輪廓不清晰，所以識(shí)別 效果很差，特別是中遠(yuǎn)距離下的目標(biāo)識(shí)別率更低。

現(xiàn)有的提升圖像分辨率最直接有效的辦法就是提升成像設(shè)備的成像能 力，但是如果單獨(dú)增加器件的像素密度不增大尺寸，會(huì)嚴(yán)重影響到成像質(zhì)量， 如果調(diào)高紅外探測(cè)器分辨率，成本高，經(jīng)濟(jì)效益低，不利于推廣，因此，圖 像的超分辨算法應(yīng)運(yùn)而生。超分辨指的是從原有的一個(gè)或者多個(gè)低分辨率圖 像中生成一個(gè)或者多個(gè)的高分辨率圖像。重建的目標(biāo)是通過(guò)增加圖像中單位 面積的像素?cái)?shù)量，使生成的高清圖像比給定的圖像擁有更多精細(xì)而真實(shí)的細(xì) 節(jié)。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的巨大突破，應(yīng)用AI算法于超分辨領(lǐng)域已 成為主流。通過(guò)基于神經(jīng)網(wǎng)絡(luò)的優(yōu)越的重建效果與理想的重建速率，不需要 進(jìn)行硬件的升級(jí)，圖像質(zhì)量就有極大的提高。

嵌入式設(shè)備相比上位機(jī)具有專(zhuān)用性很強(qiáng)，高實(shí)時(shí)性，系統(tǒng)精簡(jiǎn)安全，價(jià) 格便宜等一系列優(yōu)點(diǎn)，在車(chē)載嵌入式設(shè)備上進(jìn)行紅外圖像實(shí)時(shí)超分辨率，是 當(dāng)前超分辨率算法應(yīng)用的一大方向。如何既能保證紅外圖像的畫(huà)質(zhì)得到極大 提高，又能夠使得超分辨算法在嵌入式設(shè)備上達(dá)到實(shí)時(shí)性，是當(dāng)下自動(dòng)駕駛 重要的研究方向之一。當(dāng)前的嵌入式超分辨算法要么效果差，速度快；要么 效果好，速度慢，并不能滿(mǎn)足自動(dòng)駕駛發(fā)展的需求。開(kāi)發(fā)一種綜合實(shí)時(shí)性和 準(zhǔn)確性的適用于嵌入式設(shè)備的應(yīng)用于紅外圖像的超分辨算法是當(dāng)務(wù)之急。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)中在嵌入式設(shè)備上使用深度學(xué)習(xí)算法，存在學(xué)習(xí)模 型參數(shù)較多、計(jì)算量較大、使用功耗較高等缺陷，提供了一種實(shí)時(shí)紅外圖像 超分辨率實(shí)現(xiàn)方法。

為了解決上述技術(shù)問(wèn)題，本發(fā)明通過(guò)以下技術(shù)方案實(shí)現(xiàn)：

一種基于對(duì)抗神經(jīng)網(wǎng)絡(luò)的紅外圖像的超分辨率方法，應(yīng)用于嵌入式設(shè)備， 其特征在于，所述對(duì)抗神經(jīng)網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，所述判別網(wǎng)絡(luò)的 輸入端連接所述生成網(wǎng)絡(luò)的輸出端，所述判別網(wǎng)絡(luò)的輸出端連接所述生成網(wǎng) 絡(luò)的反饋端；

所述超分辨率方法包括一訓(xùn)練過(guò)程，包括：

步驟A1，獲取多個(gè)初始紅外圖像，降低所述初始紅外圖像的分辨率后形 成一低分辨率圖像，輸入至所述生成網(wǎng)絡(luò)中，以對(duì)所述低分辨率圖像的特征 圖進(jìn)行擴(kuò)展和拼接，從而形成并輸出對(duì)應(yīng)于所述低分辨率圖像的一高分辨率 圖像；

步驟A2，將所述高分辨率圖像輸入至所述判別網(wǎng)絡(luò)中，對(duì)所述高分辨率 圖像進(jìn)行判別，并生成一第一判別結(jié)果反饋至所述生成網(wǎng)絡(luò)，所述第一判別 結(jié)果用于表示所述高分辨率圖像與所述初始紅外圖像之間的第一相差值；