[發(fā)明專利]一種零補光實時全彩夜視成像方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202111012117.8
• 申請日: 2021-08-31
• 公開（公告）號: CN113724162B
• 公開（公告）日: 2023-09-29
• 發(fā)明（設計）人: 齊露;楊昕澤;蔡聞超;郭思婕;吳楊康;張菁芮;劉寧;許吉
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06N3/0464;H04N5/262
• 代理公司: 南京正聯(lián)知識產權代理有限公司 32243
• 代理人: 王素琴

本發(fā)明公開了一種零補光實時全彩夜視成像方法及系統(tǒng)，能夠實現(xiàn)將普通攝像設備在照度極低的黑夜環(huán)境中無需任何補光輔助過程即可拍攝全彩清晰的白晝化圖像，大大增強已有設備的夜間拍攝能力；將所述的方法運行在以FPGA為計算核心的小型化電路板中，以標準化的輸入輸出接口作為快速接入的技術規(guī)范，可將普通攝像頭改造成具有強力夜視能力的夜視設備，而不再需要加裝各種類型的補光燈，安裝簡便，改造成本低廉。

技術領域

本發(fā)明涉及圖像處理領域，具體是涉及一種零補光實時全彩夜視成像方法及系統(tǒng)。

背景技術

在民用領域中，日間成像拍攝已日漸成熟。隨著更高清的傳感器的問世，在白晝下民用領域中已可以實現(xiàn)高清甚至超高清的成像拍攝，這無疑得益于日間環(huán)境光照度條件佳帶來的益處；而同樣的設備在夜晚條件下工作效果則大打折扣，夜間環(huán)境下，由于環(huán)境光照度大大下降，導致日間工作正常的攝像設備在夜間無法正常獲取足夠的光照度，導致無法清晰拍攝夜間環(huán)境下的景物，給民用的安防監(jiān)控、警用偵查等均造成了較大的障礙。

為了解決夜間無法清晰拍攝的問題，行業(yè)中出現(xiàn)了許多有針對性的方案，例如加裝強爆閃燈、照明燈或者采用近紅外光照明作為輔助手段，這些方案在一定程度上補充了夜間拍攝能力不足的缺憾，但同時也帶來了較大的影響。首先，為了抵御夜間環(huán)境光照度極低的問題，加裝的強爆閃燈和照明燈光強過大，嚴重影響夜間機動車及行人的視覺安全，每年因爆閃燈造成的視覺致盲引發(fā)的交通事故多達上萬起；其次，采用近紅外光照明雖然利用了其處在不可見光譜從而不會影響人眼視覺的特性，但由于近紅外光譜譜段單一，因此拍攝成像時將場景由彩色退變?yōu)楹诎咨笔Я瞬噬S度后場景的觀測效果大大下降；最后，不管是何種補光方式，其帶來的高能耗現(xiàn)象都是無法避免的。

在夜間戰(zhàn)場環(huán)境中，補光的偵查方式是完全行不通的，這樣無疑是將己方的位置明示給地方。

從軍民兩個領域中可以得知，行業(yè)急需一種可以在零補光條件下實現(xiàn)實時夜間全彩成像系統(tǒng)及方法。

對此，在2018年國際頂級會議CVPR上發(fā)表的《learn?to?see?in?the?dark》一文，提及了一種利用暗光圖像計算得到明亮圖像的方法，其可以在無補光的條件下實現(xiàn)圖像明亮，但該方法存在以下的局限性：1.該方法只能針對單個相機，如果更換相機則需要從頭重新訓練一遍網絡，做不到普適性；2、該方法只能使用攝像機最原始的RAW格式圖像作為計算起點，而我們知道大部分工業(yè)相機和商用攝像設備是不提供RAW格式數(shù)據(jù)給用戶的，因此該方法無法大規(guī)模商用；3、該方法實時性不高，計算效率較低，只能處理圖片，無法處理視頻。

發(fā)明內容

為解決上述技術問題，本發(fā)明提供了一種零補光實時全彩夜視成像系統(tǒng)及方法，能夠處理普通拍攝設備的圖像并將其增強實現(xiàn)零補光條件下夜間全彩成像，可以針對多種格式的圖片或視頻，供大規(guī)模商用。

本發(fā)明所述的一種零補光實時全彩夜視成像方法，步驟為：

步驟1、采集多個不同場景的明亮、暗光兩種圖像，構建數(shù)據(jù)集；

步驟2、利用高斯卷積核對每個輸入的暗光圖像進行卷積計算，與明亮圖像進行對比，得到每個輸入的暗光圖像的殘差信息；

步驟3、進行下采樣，將步驟1得到的所有殘差信息進行離散抽樣；

步驟4、計算步驟2得到的圖像的增強損失函數(shù)，進行亮度增強訓練；

步驟5、計算步驟3得到的圖像的去噪損失函數(shù)，進行去除噪聲訓練；

步驟6、計算步驟4得到的圖像的色彩恢復損失函數(shù)，進行色彩恢復；

步驟7、進行上采樣，使步驟5得到的圖像恢復至原始輸入圖像的維度；

步驟8、得到輸出圖像。

進一步的，還包括長鏈接過程，對步驟3-步驟5損失函數(shù)計算前后各層圖像之間的查驗。