[發(fā)明專利]一種基于生成對抗網(wǎng)絡(luò)的視頻光照增強方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911049129.0
• 申請日: 2019-10-31
• 公開（公告）號: CN110852965A
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計）人: 張帆;黃威;劉星;肖奇駿
• 申請（專利權(quán)）人: 湖北大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90
• 代理公司: 武漢華強專利代理事務(wù)所(普通合伙) 42237
• 代理人: 溫珊姍

本發(fā)明公開了一種基于生成對抗網(wǎng)絡(luò)的視頻光照增強方法，包括：S1從原始視頻數(shù)據(jù)中提取指定時間段的視頻段，并對視頻段中各幀圖像順次編號；S2對視頻段進行分幀處理，獲得獨立的各幀圖像；S3利用預(yù)訓(xùn)練的圖像光照增強模型，對基幀進行光照增強；S4對基幀的后續(xù)幀進行光照增強；S5根據(jù)各幀圖像編號順序，將光照增強后的各幀圖像合成視頻，即實現(xiàn)視頻段的光照增強。本發(fā)明可用于實時視頻的光照增強，可提升視頻光照度，獲得更好的可視化效果，尤其適用光線較差情形；本發(fā)明技術(shù)可為夜視環(huán)境下的視頻監(jiān)控提供有力的技術(shù)支撐，具有較強的現(xiàn)實意義與應(yīng)用價值。

技術(shù)領(lǐng)域

本發(fā)明涉及實時視頻增強的方法，屬于視頻處理與人工智能領(lǐng)域，具體涉及一種基于生成對抗網(wǎng)絡(luò)的視頻光照增強方法及系統(tǒng)。

背景技術(shù)

近年來，隨著信息科學(xué)技術(shù)、圖像處理技術(shù)、人工智能技術(shù)的飛速發(fā)展，傳統(tǒng)的圖像處理類應(yīng)用已逐步為自動化處理技術(shù)所取代，人們可以運用各類深度學(xué)習(xí)網(wǎng)絡(luò)進行諸如照片修復(fù)、圖片的超分辨率重建、圖像可視化增強等專業(yè)應(yīng)用。然而在視頻領(lǐng)域，受視頻本身的特性所限，圖像處理領(lǐng)域的成熟方法、技術(shù)，并不能直接應(yīng)用，主要表現(xiàn)在以下幾個方面：

（1）視頻為保證連貫、不卡頓，需要至少每秒24幀以上的采集速率，也即每秒需要拍攝24張圖片，若逐張?zhí)幚韴D片，計算量較大，無法保證視頻的實時傳輸；

（2）視頻處理將占據(jù)更大的存儲和運算空間；

（3）相同的硬件設(shè)備，由于無法類似拍照的長曝光功能，因此在某些應(yīng)用場景下，視頻質(zhì)量低于圖片質(zhì)量；

（4）在視頻監(jiān)控領(lǐng)域，相較于圖片，視頻往往實時性要求更高。

發(fā)明內(nèi)容

針對背景技術(shù)所提出的問題，本發(fā)明提供了一種基于生成對抗網(wǎng)絡(luò)的視頻光照增強方法及系統(tǒng)，本發(fā)明可用于實時視頻的光照增強，可提升視頻光照度，獲得更好的可視化效果，尤其適用光線較差情形。

本發(fā)明提供的一種基于生成對抗網(wǎng)絡(luò)的視頻光照增強方法，包括：

S1 從原始視頻數(shù)據(jù)中提取指定時間段的視頻段，并對視頻段中各幀圖像順次編號；

S2對視頻段進行分幀處理，獲得獨立的各幀圖像；

S3利用預(yù)訓(xùn)練的圖像光照增強模型，對基幀進行光照增強，獲得光照增強后的基幀，基幀為當(dāng)前視頻段的第一幀圖像；所述圖像光照增強模型基于生成對抗網(wǎng)絡(luò)構(gòu)建；

S4 對基幀的后續(xù)幀進行光照增強，本步驟具體為：

從基幀的第一幀后續(xù)幀開始，對各后續(xù)幀逐一進行如下處理：

S4.1 比較后續(xù)幀與基幀，確定后續(xù)幀中與基幀不同的區(qū)域；

S4.2利用圖像光照增強模型，對后續(xù)幀中與基幀不同的區(qū)域進行光照增強；

S4.3對后續(xù)幀中與基幀相同的區(qū)域，采用光照增強后的基幀中的對應(yīng)區(qū)域進行替換；

S5 根據(jù)各幀圖像編號順序，將光照增強后的各幀圖像合成視頻，即實現(xiàn)視頻段的光照增強。

作為優(yōu)選，當(dāng)所提取的視頻段中存在場景跳轉(zhuǎn)，對所提取視頻段進一步切割，保證所切割后的新視頻段中畫面的連續(xù)性。

作為優(yōu)選，步驟S2進一步包括：

從當(dāng)前視頻段的第一幀圖像開始，對兩兩相鄰幀逐一做如下處理：

S2.1逐一比較后一幀與前一幀中各像素的RGB值之差，當(dāng)所有像素的RGB值之差均不大于預(yù)設(shè)的RGB閾值，則判斷兩幀圖像相同，去掉后一幀；否則，繼續(xù)執(zhí)行子步驟S2.2；