[發(fā)明專利]一種基于對(duì)抗神經(jīng)網(wǎng)絡(luò)的紅外圖像超分辨率方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110309438.8
• 申請(qǐng)日: 2021-03-23
• 公開（公告）號(hào): CN112991177A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 肖琳;王海偉;付澤強(qiáng);劉文豪
• 申請(qǐng)（專利權(quán)）人: 數(shù)量級(jí)（上海）信息技術(shù)有限公司
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40
• 代理公司: 上海申新律師事務(wù)所 31272
• 代理人: 黨蕾

1.一種基于對(duì)抗神經(jīng)網(wǎng)絡(luò)的紅外圖像的超分辨率方法，應(yīng)用于嵌入式設(shè)備，其特征在于，所述對(duì)抗神經(jīng)網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，所述判別網(wǎng)絡(luò)的輸入端連接所述生成網(wǎng)絡(luò)的輸出端，所述判別網(wǎng)絡(luò)的輸出端連接所述生成網(wǎng)絡(luò)的反饋端以及所述判別網(wǎng)絡(luò)的輸入端；

所述超分辨率方法包括一訓(xùn)練過程，包括：

步驟A1，獲取多個(gè)初始紅外圖像，降低所述初始紅外圖像的分辨率后形成一低分辨率圖像，輸入至所述生成網(wǎng)絡(luò)中，以對(duì)所述低分辨率圖像的特征圖進(jìn)行擴(kuò)展和拼接，從而形成并輸出對(duì)應(yīng)于所述低分辨率圖像的一高分辨率圖像；

步驟A2，將所述高分辨率圖像輸入至所述判別網(wǎng)絡(luò)中，對(duì)所述高分辨率圖像進(jìn)行判別，并生成一第一判別結(jié)果反饋至所述生成網(wǎng)絡(luò)，所述第一判別結(jié)果用于表示所述高分辨率圖像與所述初始紅外圖像之間的一第一差值；

步驟A3，將所述高分辨率圖像和所述初始紅外圖像一起輸入至所述判別網(wǎng)絡(luò)中，分別對(duì)所述高分辨率圖像和所述初始紅外圖像進(jìn)行判別，并生成一第二判別結(jié)果反饋至所述判別網(wǎng)絡(luò)，所述第二判別結(jié)果包括前后輸入的所述高分辨率圖像之間的一第二差值以及前后輸入的所述初始紅外圖像之間的一第三差值；

循環(huán)執(zhí)行所述步驟A1-A3，以同時(shí)對(duì)所述生成網(wǎng)絡(luò)和所述判別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使得所述生成網(wǎng)絡(luò)和所述判別網(wǎng)絡(luò)同時(shí)符合各自的訓(xùn)練條件，從而完成所述訓(xùn)練過程；

所述超分辨率方法還包括一超分辨率過程，所述超分辨率過程于所述訓(xùn)練過程完成后執(zhí)行，并包括：

步驟B1，將需要進(jìn)行超分辨率處理的低分辨率紅外圖像輸入至訓(xùn)練完成的所述生成網(wǎng)絡(luò)中；

步驟B2，所述生成網(wǎng)絡(luò)進(jìn)行處理后輸出超分辨率后的高分辨率紅外圖像。

2.根據(jù)權(quán)利要求1所述的一種基于對(duì)抗神經(jīng)網(wǎng)絡(luò)的紅外超分辨率方法，其特征在于，所述步驟A1包括：

步驟A11，將所述低分辨率圖像的特征圖進(jìn)行擴(kuò)大處理，得到一擴(kuò)大后的第一特征圖；

步驟A12，將所述低分辨率圖像進(jìn)行通道擴(kuò)展并重新拼接處理，得到一對(duì)應(yīng)于所述第一特征圖且同倍數(shù)擴(kuò)大的第二特征圖；

步驟A13，將所述第一特征圖和所述第二特征圖進(jìn)行拼接處理，得到所述低分辨率圖像的高分辨率圖像。

3.根據(jù)權(quán)利要求2所述的一種基于對(duì)抗神經(jīng)網(wǎng)絡(luò)的紅外超分辨率方法，其特征在于，所述步驟A12包括：

步驟A121，將所述低分辨率圖像重復(fù)卷積激活操作兩次，并得到所述低分辨率圖像的一擴(kuò)展特征圖；

步驟A122，將所述擴(kuò)展特征圖進(jìn)行一次卷積操作，以對(duì)所述擴(kuò)展特征圖的通道數(shù)進(jìn)行3倍擴(kuò)展，以形成多通道擴(kuò)展特征圖；

步驟A123，將所述多通道擴(kuò)展特征圖進(jìn)行拆分，以每3個(gè)相鄰?fù)ǖ雷鳛橐粋€(gè)單位，分別對(duì)每個(gè)單位的所述擴(kuò)展特征圖進(jìn)行重復(fù)多次稠密卷積處理，以分別得到對(duì)應(yīng)于每個(gè)所述單位的高分辨率的擴(kuò)展特征圖；

步驟A124，分別將每個(gè)所述擴(kuò)展特征圖進(jìn)行上采樣處理，以分別對(duì)每個(gè)所述擴(kuò)展特征圖進(jìn)行多倍擴(kuò)大，再拼接所有所述擴(kuò)展特征圖得到一總擴(kuò)展特征圖；

步驟A125，對(duì)所述總擴(kuò)展特征圖進(jìn)行上采樣處理，得到所述第二特征圖。

4.根據(jù)權(quán)利要求1所述的一種基于對(duì)抗神經(jīng)網(wǎng)絡(luò)的紅外超分辨率方法，其特征在于，所述步驟A2包括：

步驟A21，將所述高分辨率圖像進(jìn)行四次卷積激活操作，并通過十次殘差計(jì)算進(jìn)行提取操作，提取所述高分辨率圖像的圖片特征；

步驟A22，將所述高分辨率圖像的圖片特征進(jìn)行分類操作，并對(duì)分類操作后的所述圖片特征進(jìn)行判別，并輸出所述第一差值為所述高分辨率圖像為真圖像的概率值交叉熵。