[發(fā)明專利]一種用于港口船舶監(jiān)控的紅外視頻圖像增強(qiáng)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011293819.3
• 申請(qǐng)日: 2020-11-18
• 公開（公告）號(hào): CN112465736B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 劉文;楊梅芳;袁偉喬;李桂聯(lián)
• 申請(qǐng)（專利權(quán)）人: 武漢理工大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T5/00;H04N7/18;H04N23/20;G06N3/08;G06N3/0464;G06N3/048
• 代理公司: 武漢開元知識(shí)產(chǎn)權(quán)代理有限公司 42104
• 代理人: 劉琳;潘杰

本發(fā)明涉及一種用于港口船舶監(jiān)控的紅外視頻圖像增強(qiáng)方法，包括：1)采集大量的高質(zhì)量與低質(zhì)量的港口紅外視頻；2)利用高質(zhì)量紅外視頻中的紅外圖像合成低質(zhì)量紅外圖像并構(gòu)建匹配對(duì)訓(xùn)練集，將真實(shí)的低質(zhì)量紅外圖像作為測(cè)試集；3)構(gòu)建生成式對(duì)抗網(wǎng)絡(luò)模型，利用訓(xùn)練集訓(xùn)練該網(wǎng)絡(luò)，學(xué)習(xí)低質(zhì)量紅外圖像到清晰的高質(zhì)量紅外圖像之間的函數(shù)映射關(guān)系；4)實(shí)時(shí)獲取紅外視頻數(shù)據(jù)，將紅外視頻分割成幀圖像，輸入到訓(xùn)練好的生成網(wǎng)絡(luò)G，由生成網(wǎng)絡(luò)G對(duì)紅外視頻中的紅外圖像進(jìn)行增強(qiáng)處理，并整合成完整的視頻流。本發(fā)明主要針對(duì)港口船舶紅外監(jiān)控由于惡劣天氣條件等對(duì)紅外成像造成的對(duì)比度低、結(jié)構(gòu)模糊的問題，實(shí)現(xiàn)港口紅外視頻增強(qiáng)處理，無需人工干預(yù)。

技術(shù)領(lǐng)域

本發(fā)明涉及海事視頻圖像處理技術(shù)領(lǐng)域，具體地指一種用于港口船舶監(jiān)控的紅外視頻圖像增強(qiáng)方法。

背景技術(shù)

近年來，現(xiàn)代港口物流產(chǎn)業(yè)飛速發(fā)展，港口貨運(yùn)吞吐量大規(guī)模增長(zhǎng)，船舶進(jìn)出港頻率更高，使得港口航運(yùn)安全監(jiān)管壓力逐步增大，對(duì)用于保障船舶安全的港口視頻監(jiān)控提出了更高的要求。

傳統(tǒng)的可見光監(jiān)控設(shè)備易受霧霾和低照度等天氣因素的影響，難以滿足港口全天候地實(shí)行大面積航運(yùn)安全管理的應(yīng)用需求。紅外熱像儀僅依靠物體自身輻射的熱能即可成像，不僅受光照影響小，而且可實(shí)現(xiàn)幾倍或幾十倍于傳統(tǒng)可見光監(jiān)控設(shè)備的夜視能力，已被廣泛應(yīng)用于港口航道水運(yùn)安全監(jiān)管。然而，受目標(biāo)輻射特性和探測(cè)器制造工藝等因素的影響，紅外熱像儀所接收的熱輻射信號(hào)在大氣傳輸過程中容易被吸收、散射或被水汽反射，使得所獲取的紅外圖像不僅對(duì)比度較低而且缺乏重要的結(jié)構(gòu)信息，不利于監(jiān)管人員對(duì)進(jìn)出港船舶的觀測(cè)，因此對(duì)紅外視頻圖像進(jìn)行對(duì)比度及細(xì)節(jié)增強(qiáng)可以幫助港口監(jiān)管人員更加直觀地觀察視頻內(nèi)容，及時(shí)做出決策和判斷。

目前，國(guó)內(nèi)外的紅外視頻圖像增強(qiáng)研究主要有基于模型的方法和基于判別式學(xué)習(xí)的方法。盡管基于判別式學(xué)習(xí)的方法已取得了較好的視覺效果，但是由于存儲(chǔ)空間和算力資源的限制，導(dǎo)致僅采用普通卷積方式實(shí)現(xiàn)紅外視頻圖像增強(qiáng)的網(wǎng)絡(luò)模型在移動(dòng)設(shè)備和嵌入式設(shè)備上的存儲(chǔ)與運(yùn)行面臨巨大挑戰(zhàn)，難以應(yīng)用在對(duì)實(shí)時(shí)性要求更高的港口航道水運(yùn)安全監(jiān)管領(lǐng)域。

發(fā)明內(nèi)容

針對(duì)上述現(xiàn)有技術(shù)的不足之處，本發(fā)明提出一種用于港口船舶監(jiān)控的紅外視頻圖像增強(qiáng)方法，目的在于解決港口紅外監(jiān)控由于受惡劣天氣條件、目標(biāo)輻射特性、探測(cè)器制造工藝等因素的影響而產(chǎn)生的對(duì)比度低、結(jié)構(gòu)模糊等成像問題，為港口安全防范提供技術(shù)支持。

為實(shí)現(xiàn)上述目的，本發(fā)明所設(shè)計(jì)的一種用于港口船舶監(jiān)控的紅外視頻圖像增強(qiáng)方法，其特殊之處在于，所述方法包括如下步驟：

步驟1：采集高質(zhì)量的港口紅外視頻和低質(zhì)量的港口紅外視頻；

步驟2：將采集到的高質(zhì)量、低質(zhì)量紅外視頻逐幀切割分別得到高質(zhì)量紅外圖像和低質(zhì)量的紅外圖像，采用高質(zhì)量紅外圖像人工合成低質(zhì)量紅外圖像，形成匹配對(duì)，構(gòu)建訓(xùn)練數(shù)據(jù)集，同時(shí)以真實(shí)的低質(zhì)量紅外圖像作為測(cè)試數(shù)據(jù)集；

步驟3：構(gòu)建生成式對(duì)抗網(wǎng)絡(luò)模型，利用步驟2構(gòu)建的訓(xùn)練數(shù)據(jù)集訓(xùn)練所述生成式對(duì)抗網(wǎng)絡(luò)模型，學(xué)習(xí)低質(zhì)量紅外圖像到高質(zhì)量紅外圖像之間的函數(shù)映射關(guān)系，并用所述測(cè)試數(shù)據(jù)集對(duì)網(wǎng)絡(luò)模型進(jìn)行測(cè)試；所述生成式對(duì)抗網(wǎng)絡(luò)模型包括兩個(gè)子網(wǎng)絡(luò)，即生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D，其中，生成網(wǎng)絡(luò)G將低質(zhì)量的紅外圖像生成為高質(zhì)量的紅外圖像，判別網(wǎng)絡(luò)D判斷輸入圖像是否符合真實(shí)的高質(zhì)量紅外圖像的概率；

步驟4：港口監(jiān)控實(shí)時(shí)獲取紅外視頻并傳送視頻數(shù)據(jù)，將紅外視頻中每一幀的紅外圖像輸入所述步驟3訓(xùn)練完成后的生成網(wǎng)絡(luò)G，由生成網(wǎng)絡(luò)G對(duì)視頻中的紅外圖像序列進(jìn)行增強(qiáng)處理，并整合成完整的視頻流。

優(yōu)選地，所述步驟2中構(gòu)建訓(xùn)練數(shù)據(jù)集的具體步驟如下：

步驟2.1：首先對(duì)高質(zhì)量紅外圖像進(jìn)行g(shù)amma調(diào)整，降低圖像對(duì)比度：I′＝A×I^γ