[發明專利]一種基于事件相機的自監督視頻去模糊和圖像插幀方法

在審

• 申請號: 202210040254.0
• 申請日: 2022-01-14
• 公開（公告）號: CN114494050A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 余磊;張翔
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于事件相機的自監督視頻去模糊和圖像插幀方法，其特征在于，包含以下步驟：

步驟1，模糊視頻與事件流數據集的構建；使用單個事件相機或者結合事件相機與普通光學相機拍攝模糊視頻，并完成事件流與圖像幀的時空匹配，以相鄰兩張模糊圖像幀以及其對應的事件流以及待重建的目標時刻作為一組輸入數據；

步驟2，事件流預處理；對于每一組輸入數據，根據待重建的目標時刻切分事件流并預處理為網絡輸入格式；

步驟3，構建網絡模型，所述網絡模型包括可學習的二重積分網絡與融合網絡，利用構建的網絡模型處理模糊視頻與事件流，實現運動模糊去除和圖像插幀；

步驟4，利用模糊視頻、清晰視頻和事件流之間的相互關系，構建自監督框架對網絡模型進行訓練；

步驟5，利用訓練好的網絡模型處理模糊視頻與事件流，重建高幀率清晰視頻。

2.根據權利要求1所述的一種基于事件相機的自監督視頻去模糊和圖像插幀方法，其特征在于：步驟1所述的一組輸入數據為：

其中，B_i和B_i+1為視頻的第i和第i+l張模糊圖像，記其對應曝光時間為為從B_i曝光時間開始到B_i+1曝光時間結束的時間段內采集的事件流數據，其中，將B_i曝光時間開始到B_i+1曝光時間結束的時間段記為為其產生時刻的時間戳，p(t)∈{+1，-1}為其極性，x(t)∈[1，W]與y(t)∈[1，H]表示其生成位置為相機成像平面的第x列和第y行；f為待重建的目標時刻，該目標時刻為從B_i曝光時間開始到B_i+1曝光時間結束的時間段內的任意時刻。

3.根據權利要求2所述的一種基于事件相機的自監督視頻去模糊和圖像插幀方法，其特征在于：步驟2所述的事件流預處理函數為：

其中f為待重建的目標時刻；t_r為參考目標時刻；為在時間段[f，t_r]內觸發的事件流數據；為包含時間位移的事件流處理算子，其中e(t)＝p(t)·δ(t-τ)為事件數據的連續表示，δ(·)為狄拉克函數；為包含時間位移，翻轉，以及極性反轉的事件流處理算子；

假設輸入模糊圖像Bi的曝光開始與結束時間為t₁、t₂，B_i+1的曝光開始與結束時間為t₃、t₄，那么對輸入事件流預處理后可得到4段事件數據作為后續網絡輸入。

4.根據權利要求3所述的一種基于事件相機的自監督視頻去模糊和圖像插幀方法，其特征在于：

步驟3所述的可學習二重積分網絡LDI包括卷積層和ReLU激活函數，融合網絡Fusion包括卷積層、殘差模塊以及注意力模塊CBAM；

構建網絡后的數據處理流程為：首先將預處理后的事件數據按一定時間間隔Δt將切成N個時間間隔，并在每個時間間隔內將事件點累加形成尺寸為2×H×W的事件幀，2代表正負極性，H，W為事件幀的高度和寬，形成N×2×H×W的張量輸入到權重共享的LDI網絡中，并通過下式計算得到事件流關于待重建時刻f以及模糊圖像B_i曝光時間的二重積分曝光開始時刻為t₁，結束時刻為t₂；

同樣可得到事件流關于待重建時刻f以及模糊圖像B_i+1曝光時間的二重積分曝光開始時刻為t₃，結束時刻為t₄；

隨后結合模糊圖像B_i，B_i+1得到初步的重建結果L_i(f)，L_i+1(f)：

通過加權L_i(f)，L_i+1(f)額外生成一個重建結果

其中，假設權重函數ω(f)定義為：

最后，將初步的重建結果L_i(f)，L_i+1(f)，與事件流二重積分結果級聯成為一個張量送入融合網絡處理，輸出最終的重建結果