[發(fā)明專(zhuān)利]一種零補(bǔ)光實(shí)時(shí)全彩夜視成像方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111012117.8
• 申請(qǐng)日: 2021-08-31
• 公開(kāi)（公告）號(hào): CN113724162B
• 公開(kāi)（公告）日: 2023-09-29
• 發(fā)明（設(shè)計(jì)）人: 齊露;楊昕澤;蔡聞超;郭思婕;吳楊康;張菁芮;劉寧;許吉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京郵電大學(xué)
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06T7/90;G06N3/0464;H04N5/262
• 代理公司: 南京正聯(lián)知識(shí)產(chǎn)權(quán)代理有限公司 32243
• 代理人: 王素琴

1.一種零補(bǔ)光實(shí)時(shí)全彩夜視成像方法，其特征在于，所述方法的步驟為：

步驟1、采集多個(gè)不同場(chǎng)景的明亮、暗光兩種圖像，構(gòu)建數(shù)據(jù)集；

步驟2、利用高斯卷積核對(duì)每個(gè)輸入的暗光圖像進(jìn)行卷積計(jì)算，與明亮圖像進(jìn)行對(duì)比，得到每個(gè)輸入的暗光圖像的殘差信息；

步驟3、進(jìn)行下采樣，將步驟1得到的所有殘差信息進(jìn)行離散抽樣；

步驟4、計(jì)算步驟2得到的圖像的增強(qiáng)損失函數(shù)，進(jìn)行亮度增強(qiáng)訓(xùn)練；

所述圖像增強(qiáng)損失函數(shù)的計(jì)算公式為：

其中，I_out和I_target分別表示輸出圖像和目標(biāo)圖像,N為訓(xùn)練的圖像分塊大小；

步驟5、計(jì)算步驟3得到的圖像的去噪損失函數(shù)，進(jìn)行去除噪聲訓(xùn)練；

所述圖像去噪損失函數(shù)的計(jì)算公式為：

其中，和是關(guān)于x和y方向的梯度，C表示彩色圖像的不同色彩通道，R,G,B分別為紅色，綠色和藍(lán)色通道；

步驟6、計(jì)算步驟4得到的圖像的色彩恢復(fù)損失函數(shù)，進(jìn)行色彩恢復(fù)；

所述色彩恢復(fù)損失函數(shù)的計(jì)算公式為：

其中，和表示輸入圖像在通道p和q上的平均強(qiáng)度,(p,q)表示一個(gè)顏色通道對(duì)；

步驟7、進(jìn)行上采樣，使步驟5得到的圖像恢復(fù)至原始輸入圖像的維度；

步驟8、得到輸出圖像。

2.根據(jù)權(quán)利要求1所述一種零補(bǔ)光實(shí)時(shí)全彩夜視成像方法，其特征在于，還包括長(zhǎng)鏈接過(guò)程，對(duì)步驟3-步驟5損失函數(shù)計(jì)算前后各層圖像之間的查驗(yàn)。

3.一種零補(bǔ)光實(shí)時(shí)全彩夜視成像系統(tǒng)，其特征在于，包括并行數(shù)據(jù)流輸入接口、FPGA芯片、電源管理電路模塊、并行數(shù)據(jù)流輸出接口、藍(lán)牙模塊和電路板，所述并行數(shù)據(jù)流輸入接口、FPGA芯片、電源管理電路模塊、并行數(shù)據(jù)流輸出接口和藍(lán)牙模塊安裝在所述電路板上；

其中，所述電源管理電路模塊為電路板系統(tǒng)提供電源；

所述并行數(shù)據(jù)流輸入接口接收前端送入的圖像視頻數(shù)據(jù)，并將所接收的并行圖像視頻數(shù)據(jù)傳送至FPGA芯片；

所述FPGA芯片采用權(quán)利要求1或2任一項(xiàng)所述的方法對(duì)所接收的視頻數(shù)據(jù)進(jìn)行處理，并將處理后的圖像視頻數(shù)據(jù)傳送至并行數(shù)據(jù)流輸出接口；

所述并行數(shù)據(jù)流輸出接口將FPGA芯片處理后的視頻數(shù)據(jù)傳輸給用戶端

所述藍(lán)牙模塊接收外界移動(dòng)端的控制命令，控制FPGA芯片的開(kāi)啟或關(guān)閉，并讀取FPGA芯片的狀態(tài)信息。