[發(fā)明專利]一種基于光流變換的暗光視頻增強(qiáng)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110252373.8
• 申請(qǐng)日: 2021-03-08
• 公開（公告）號(hào): CN113159019B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 付瑩;張帆
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06V10/25
• 分類號(hào): G06V10/25;G06V10/20;G06V10/774;G06T5/00
• 代理公司: 北京正陽(yáng)理工知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11639
• 代理人: 王民盛

1.一種基于光流變換的暗光視頻增強(qiáng)方法，包括以下步驟：

步驟1：數(shù)據(jù)準(zhǔn)備；

使用光流估計(jì)方法，對(duì)已有暗光圖像數(shù)據(jù)集中的真實(shí)正常光照?qǐng)D像進(jìn)行處理，生成對(duì)應(yīng)的光流估計(jì)結(jié)果，包括以下步驟：

步驟1.1：使用實(shí)例分割網(wǎng)絡(luò)模型，對(duì)暗光數(shù)據(jù)集中的真實(shí)正常光照?qǐng)D像進(jìn)行處理，得到對(duì)應(yīng)的實(shí)例分割結(jié)果，作為下一步的掩膜使用；

步驟1.2：使用光流估計(jì)方法，對(duì)暗光數(shù)據(jù)集中的真實(shí)正常光照?qǐng)D像進(jìn)行處理，得到對(duì)應(yīng)的光流估計(jì)結(jié)果，作為訓(xùn)練階段光流變換的數(shù)據(jù)使用；

步驟2：訓(xùn)練階段；

利用步驟1獲取的光流估計(jì)結(jié)果，結(jié)合已有暗光圖像數(shù)據(jù)集，對(duì)已有暗光圖像增強(qiáng)模型進(jìn)行訓(xùn)練，利用光流變換得到成對(duì)的存在運(yùn)動(dòng)的暗光圖像，以孿生網(wǎng)絡(luò)的方式進(jìn)行模型訓(xùn)練，并對(duì)真實(shí)正常光照?qǐng)D像以及模型輸出進(jìn)行相同的變換，并施加額外的一致性約束，完成模型訓(xùn)練；

步驟2.1：對(duì)暗光圖像數(shù)據(jù)集以及光流估計(jì)結(jié)果進(jìn)行預(yù)處理，進(jìn)行數(shù)據(jù)增廣，提高網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)的豐富程度；

步驟2.2：以孿生網(wǎng)絡(luò)的方式對(duì)已有暗光圖像增強(qiáng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過(guò)光流變換獲得成對(duì)的輸入圖像，暗光增強(qiáng)模型對(duì)輸入的暗光圖像進(jìn)行處理，生成成對(duì)的圖像增強(qiáng)結(jié)果，將其與成對(duì)的真實(shí)正常光照?qǐng)D像進(jìn)行對(duì)比，計(jì)算暗光增強(qiáng)任務(wù)的損失函數(shù)以及一致性約束的損失函數(shù)，并據(jù)此更新模型中的參數(shù)；

從訓(xùn)練數(shù)據(jù)集中，隨機(jī)選取暗光圖像輸入暗光增強(qiáng)模型；設(shè)輸入圖像為x₁，網(wǎng)絡(luò)模型g對(duì)輸入的暗光圖像x₁進(jìn)行處理，輸出對(duì)應(yīng)的圖像增強(qiáng)結(jié)果g(x₁)，將其與真實(shí)正常光照?qǐng)D像y₁進(jìn)行對(duì)比，計(jì)算增強(qiáng)任務(wù)損失函數(shù)

然后，利用對(duì)應(yīng)的光流對(duì)已送入網(wǎng)絡(luò)模型的輸入、對(duì)應(yīng)的模型輸出以及真實(shí)正常光照?qǐng)D像均進(jìn)行光流變換，表示為：

x₂＝W(x₁,f)

其中，W表示光流變換操作，x₁為首先輸入模型的暗光圖像，f為光流估計(jì)結(jié)果，x₂則為變換后的輸入；對(duì)于模型輸出g(x₁)和真實(shí)正常光照?qǐng)D像y₁同理；

之后，將變換后的輸入圖像送入網(wǎng)絡(luò)模型，得到第二次模型輸；將該輸出與變換后的模型輸出、變換后的真實(shí)光照?qǐng)D像進(jìn)行對(duì)比，分別計(jì)算一致性約束的損失函數(shù)和計(jì)算增強(qiáng)任務(wù)的損失函數(shù)

其中，g(x₂)表示模型的第二次輸出，y₂表示經(jīng)過(guò)光流變換后的真實(shí)光照?qǐng)D像；

則訓(xùn)練網(wǎng)絡(luò)所使用的完整損失函數(shù)為：

其中，λ為調(diào)節(jié)一致性約束強(qiáng)度的超參數(shù)，根據(jù)任務(wù)情況進(jìn)行調(diào)節(jié)；

步驟2.3：重復(fù)步驟2.2，直到滿足設(shè)定的終止條件后，將網(wǎng)絡(luò)的結(jié)構(gòu)與模型參數(shù)進(jìn)行保存；

步驟3：使用階段；

利用步驟2中訓(xùn)練得到的暗光增強(qiáng)模型，對(duì)需要處理的暗光視頻進(jìn)行增強(qiáng)，逐幀將視頻序列中的圖像輸入模型，得到增強(qiáng)后的結(jié)果。

2.如權(quán)利要求1所述的一種基于光流變換的暗光視頻增強(qiáng)方法，其特征在于，步驟1.1的實(shí)現(xiàn)方法為：

對(duì)準(zhǔn)備使用的暗光圖像數(shù)據(jù)集中的真實(shí)正常光照?qǐng)D像，使用實(shí)例分割方法進(jìn)行處理，識(shí)別出圖像中存在的前景物體，并獲取其對(duì)應(yīng)的像素區(qū)域掩膜，保存為與原圖像大小一致的布爾矩陣數(shù)組，并以相同的命名方式保存，以備光流估計(jì)時(shí)使用，表示為：

M＝InsSeg(y) (1)

其中，InsSeg表示使用的實(shí)例分割方法，y為真實(shí)正常光照?qǐng)D像，M為實(shí)例分割得到的掩膜結(jié)果；

步驟1.2的實(shí)現(xiàn)方法為：

結(jié)合步驟1.1中獲取到的前景物體掩膜結(jié)果，使用光流估計(jì)方法，對(duì)真實(shí)正常光照?qǐng)D像進(jìn)行處理；在前景物體對(duì)應(yīng)的像素區(qū)域上，隨機(jī)采樣不少于2個(gè)的一組速度矢量，得到對(duì)應(yīng)的光流估計(jì)結(jié)果并保存?zhèn)溆茫硎緸椋?/p>

f＝CMP(y,V|M) (2)

其中，f為光流估計(jì)結(jié)果，CMP為使用的光流估計(jì)方法，y表示真實(shí)正常光照?qǐng)D像，V代表隨機(jī)采樣的速度矢量數(shù)組，M為步驟1.1保存的前景物體掩膜結(jié)果，V|M表示在掩膜所描述的特定物體區(qū)域上采樣的速度矢量數(shù)組。