[發(fā)明專利]一種基于事件相機(jī)的自監(jiān)督視頻去模糊和圖像插幀方法

在審

• 申請?zhí)枺?/td>: 202210040254.0
• 申請日: 2022-01-14
• 公開（公告）號: CN114494050A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計）人: 余磊;張翔
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明提供一種基于事件相機(jī)的自監(jiān)督視頻去模糊和圖像插幀方法，包括模糊視頻與事件流數(shù)據(jù)集的構(gòu)建、事件流預(yù)處理、構(gòu)建可學(xué)習(xí)的二重積分網(wǎng)絡(luò)與融合網(wǎng)絡(luò)處理模糊視頻與事件流、自監(jiān)督框架進(jìn)行網(wǎng)絡(luò)訓(xùn)練并重建高幀率清晰視頻。事件流的預(yù)處理方法通過聯(lián)合事件生成模型與模糊圖像生成模型建立，保障了本發(fā)明能夠選擇模糊視頻曝光時間內(nèi)外的任意目標(biāo)時刻進(jìn)行潛在清晰圖像重建。預(yù)處理后的事件流和模糊圖像將輸入可學(xué)習(xí)的二重積分網(wǎng)絡(luò)與融合網(wǎng)絡(luò)進(jìn)行運(yùn)動模糊去除和圖像插幀。最后利用模糊視頻、清晰視頻和事件流之間的相互關(guān)系，構(gòu)建自監(jiān)督框架對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并用訓(xùn)練后的模型處理模糊視頻與事件流，重建出高幀率的清晰視頻。本發(fā)明解決了運(yùn)動模糊以及幀間信息丟失的問題，具有較好的去模糊和圖像插幀效果。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理領(lǐng)域，特別涉及用事件相機(jī)實現(xiàn)自監(jiān)督視頻去模糊和圖像插幀。

背景技術(shù)

在高動態(tài)的場景下(如快速運(yùn)動的相機(jī)或者非線性運(yùn)動的目標(biāo))，視頻的拍攝往往會面臨運(yùn)動模糊以及丟失幀間信息的問題，從而降低整體的視頻質(zhì)量。而運(yùn)動模糊去除(Motion deblurring)和圖像插幀(Frame interpolation)作為底層視覺圖像處理領(lǐng)域的重要分支，能夠從模糊、低幀率的視頻中重建出清晰、高幀率的視頻，在提供清晰流暢視頻觀感的同時還便利于后續(xù)如目標(biāo)檢測、跟蹤、三維重建等算法處理，具有極高的應(yīng)用價值。

但由于運(yùn)動方向的模糊性以及模糊圖像對目標(biāo)邊緣信息的擦除，當(dāng)前基于幀圖像的運(yùn)動模糊去除算法難以準(zhǔn)確地重建潛在清晰圖像。此外，當(dāng)前的基于幀圖像的插幀方法通常假設(shè)相鄰幀之間的運(yùn)動是線性的，但該線性假設(shè)在現(xiàn)實場景難以保證，尤其是在遇到復(fù)雜的非線性運(yùn)動時，因此也常導(dǎo)致錯誤的圖像插幀結(jié)果。

而基于生物視覺感知機(jī)制的事件相機(jī)成為了解決以上難題的突破口。與傳統(tǒng)光學(xué)相機(jī)不同，事件相機(jī)僅僅感知場景的對數(shù)域亮度變化，以異步的事件流取代了傳統(tǒng)幀的表現(xiàn)形式，具有低延時、高動態(tài)范圍、低帶寬需求和低功耗等特性。與傳統(tǒng)光學(xué)相機(jī)相比，事件相機(jī)能夠以極低的延時響應(yīng)場景亮度的瞬時變化，因此在高速運(yùn)動場景下仍能保留目標(biāo)的邊緣紋理信息，并且能夠補(bǔ)充幀圖像之間丟失的運(yùn)動信息。當(dāng)前基于事件相機(jī)的去模糊和圖像插幀方法往往將這兩個任務(wù)分開處理，但實際上運(yùn)動模糊與幀間信息丟失在現(xiàn)實場景中具有較強(qiáng)的共生性，因此需要聯(lián)合考慮。此外，目前大多數(shù)去模糊和圖像插幀算法都依賴于在仿真數(shù)據(jù)集上的監(jiān)督訓(xùn)練，而由于仿真數(shù)據(jù)集與真實數(shù)據(jù)集之間的數(shù)據(jù)分布不一致，其在真實場景測試時往往有性能下降的問題，催生了對自監(jiān)督框架的需求。

發(fā)明內(nèi)容

基于上述分析，本發(fā)明的目的在于提供一種基于事件相機(jī)的自監(jiān)督視頻去模糊和圖像插幀方法，該方法利用事件相機(jī)低延時的優(yōu)勢，將圖像插幀與去模糊作為統(tǒng)一的任務(wù)處理，并利用模糊圖像、清晰圖像以及事件流之間相互制約的關(guān)系設(shè)計了自監(jiān)督訓(xùn)練框架，使得本算法能夠在真實拍攝的模糊、低幀率視頻中直接進(jìn)行訓(xùn)練，并重建出任意高幀率、清晰的視頻。

本發(fā)明提供的基于事件相機(jī)的自監(jiān)督視頻去模糊和圖像插幀方法包括以下具體步驟：

步驟1：模糊視頻與事件流數(shù)據(jù)集的構(gòu)建；使用單個事件相機(jī)或者結(jié)合事件相機(jī)與普通光學(xué)相機(jī)拍攝模糊視頻，并完成事件流與圖像幀的時空匹配。

步驟2：事件流預(yù)處理；對于每一組輸入數(shù)據(jù)，根據(jù)待重建的目標(biāo)時刻切分事件流并預(yù)處理為網(wǎng)絡(luò)輸入格式。

步驟3：構(gòu)建網(wǎng)絡(luò)模型，所述網(wǎng)絡(luò)模型包括可學(xué)習(xí)的二重積分網(wǎng)絡(luò)與融合網(wǎng)絡(luò)，利用構(gòu)建的網(wǎng)絡(luò)模型處理模糊視頻與事件流，實現(xiàn)運(yùn)動模糊去除和圖像插幀；構(gòu)建由卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的可學(xué)習(xí)的二重積分網(wǎng)絡(luò)與融合網(wǎng)絡(luò)進(jìn)行運(yùn)動模糊去除和圖像插幀。

步驟4：使用自監(jiān)督框架進(jìn)行網(wǎng)絡(luò)訓(xùn)練并重建高幀率清晰視頻；利用模糊視頻、清晰視頻和事件流之間的相互關(guān)系，構(gòu)建自監(jiān)督框架對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

步驟5，利用訓(xùn)練好的網(wǎng)絡(luò)模型處理模糊視頻與事件流，重建高幀率清晰視頻。

各步驟具體細(xì)節(jié)如下：