[發明專利]一種基于生成對抗網絡的視頻光照增強方法及系統

在審

• 申請號: 201911049129.0
• 申請日: 2019-10-31
• 公開（公告）號: CN110852965A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 張帆;黃威;劉星;肖奇駿
• 申請（專利權）人: 湖北大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90
• 代理公司: 武漢華強專利代理事務所(普通合伙) 42237
• 代理人: 溫珊姍

1.一種基于生成對抗網絡的視頻光照增強方法，其特征是，包括：

S1 從原始視頻數據中提取指定時間段的視頻段，并對視頻段中各幀圖像順次編號；

S2對視頻段進行分幀處理，獲得獨立的各幀圖像；

S3利用預訓練的圖像光照增強模型，對基幀進行光照增強，獲得光照增強后的基幀，基幀為當前視頻段的第一幀圖像；所述圖像光照增強模型基于生成對抗網絡構建；

S4 對基幀的后續幀進行光照增強，本步驟具體為：

從基幀的第一幀后續幀開始，對各后續幀逐一進行如下處理：

S4.1 比較后續幀與基幀，確定后續幀中與基幀不同的圖像塊區域；

S4.2利用圖像光照增強模型，對后續幀中與基幀不同的區域進行光照增強；

S4.3對后續幀中與基幀相同的區域，采用光照增強后的基幀中的對應區域進行替換；

S5 根據各幀圖像編號順序，將光照增強后的各幀圖像合成視頻，即實現視頻段的光照增強。

2.如權利要求1所述的基于生成對抗網絡的視頻光照增強方法，其特征是：

當所提取的視頻段中存在場景跳轉，對所提取視頻段進一步切割，保證所切割后的新視頻段中畫面的連續性。

3.如權利要求1或2所述的基于生成對抗網絡的視頻光照增強方法，其特征是：

步驟S2進一步包括：

從當前視頻段的第一幀圖像開始，對兩兩相鄰幀逐一做如下處理：

S2.1逐一比較后一幀與前一幀中各像素的RGB值之差，當所有像素的RGB值之差均不大于預設的RGB閾值，則判斷兩幀圖像相同，去掉后一幀；否則，繼續執行子步驟S2.2；

S2.2 統計不同像素點的數量，當不同像素點占所有像素點的比例未超過預設的比例閾值時，判斷兩幀圖像相同，去掉后一幀；否則，判斷兩幀圖像為不同圖像；其中，不同像素點指：后一幀與前一幀中RGB值之差大于RGB閾值的像素點；

所述RGB閾值和所述比例閾值根據經驗設定。

4.如權利要求1所述的基于生成對抗網絡的視頻光照增強方法，其特征是：

步驟S3中，圖像光照增強模型的構建過程為：

搭建生成對抗網絡模型，生成對抗網絡模型中的生成器利用U-net網絡構建，判別器為馬爾科夫判別器PatchGAN；以及對生成對抗網絡模型進行訓練。

5.如權利要求4所述的基于生成對抗網絡的視頻光照增強方法，其特征是：

對生成對抗網絡模型進行訓練，具體為：

采用攝像頭采集一系列圖像對，每對圖像包括一低照度圖像和一光照增強圖像；

利用訓練樣本集對生成對抗網絡模型進行反復迭代訓練，直至判別器無法判斷圖像真假。

6.如權利要求1所述的基于生成對抗網絡的視頻光照增強方法，其特征是：

子步驟S4.1具體為：

S4.1a 將基幀與后續幀劃分為相同的網格；

S4.1b 基于網格內像素點的RGB值，逐一判斷基幀與后續幀中相對應的兩網格是否相同；

對所有網格逐一執行子步驟 S4.1b，將后續幀中判斷為不相同的網格保存，后續幀中所有與基幀不同的網格，構成與基幀不同的圖像塊區域。

7.如權利要求1所述的基于生成對抗網絡的視頻光照增強方法，其特征是：

當步驟S2采用權利要求3所記載方法實施時，步驟S5進一步包括：

S5.1 讀取光照增強后各幀圖像的編號；

S5.2 在空缺編號處，以前一幀圖像復制補充至該空缺處，并采用該空缺編號標記；直至所有空缺編號處被復制補充圖像；

S5.3 將所有幀圖像按編號合成視頻。