[發明專利]一種基于輕量生成對抗網絡的快速事件圖像填補方法及系統

在審

• 申請號: 202011133015.7
• 申請日: 2020-10-21
• 公開（公告）號: CN112396674A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 劉盛;程豪豪;黃圣躍;金坤;葉煥然
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T11/40
• 分類號: G06T11/40;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發明公開了一種基于輕量生成對抗網絡的快速事件圖像填補方法及系統，其中基于輕量生成對抗網絡的快速事件圖像填補方法包括：構建輕量生成對抗網絡；獲取訓練數據，所述訓練數據包括多對相匹配的損失事件圖像和未損失事件圖像；利用所述訓練數據優化所述輕量生成對抗網絡得到最優的網絡參數；獲取待填補的損失事件圖像，輸入至基于最優網絡參數的輕量生成對抗網絡中，得到輕量生成對抗網絡輸出的填補事件圖像。本發明的基于輕量生成對抗網絡的快速事件圖像填補方法及系統，充分利用事件圖像的稀疏特性，提高圖像填補結構的真實性和結構的精細度。

技術領域

本申請屬于圖像處理技術領域，具體涉及一種基于輕量生成對抗網絡的快速事件圖像填補方法及系統。

背景技術

事件相機(Event-based Camera，或簡稱為Event Camera，縮寫為EB。有時也稱作DVS(Dynamic Vision Sensor，動態視覺傳感器))是一款新型傳感器。不同于傳統相機拍攝一幅完整的圖像，事件相機拍攝的是“事件”，可以簡單理解為“像素亮度的變化”，即事件相機輸出的是像素亮度的變化情況。

目前，事件相機能夠生成稀疏事件流并捕獲高速運動信息，然而，隨著時間分辨率的提高，空間分辨率會急劇降低。盡管生成對抗網絡在傳統圖像修復上取得了顯著效果，但是直接將其用于事件填補會埋沒事件相機的快速響應特性，并且事件流的稀疏性也未被充分利用。

發明內容

本申請的目的在于提供一種基于輕量生成對抗網絡的快速事件圖像填補方法及系統，充分利用事件圖像的稀疏特性，提高圖像填補結構的真實性和結構的精細度。

為實現上述目的，本申請所采取的技術方案為：

一種基于輕量生成對抗網絡的快速事件圖像填補方法，所述基于輕量生成對抗網絡的快速事件圖像填補方法，包括：

構建輕量生成對抗網絡；

獲取訓練數據，所述訓練數據包括多對相匹配的損失事件圖像和未損失事件圖像；

利用所述訓練數據優化所述輕量生成對抗網絡得到最優的網絡參數；

獲取待填補的損失事件圖像，輸入至基于最優網絡參數的輕量生成對抗網絡中，得到輕量生成對抗網絡輸出的填補事件圖像；

其中，所述輕量生成對抗網絡包括生成器和判別器，所述生成器包括編碼器、解碼器、以及連接在編碼器和解碼器之間的兩個殘差塊，所述編碼器包括三個3D卷積，所述編碼器對圖像進行兩次下采樣，所述解碼器包括三個3D轉置卷積，所述解碼器對圖像進行兩次上采樣；所述判別器包括事件幀判別器和事件序列判別器，所述事件幀判別器為PatchGAN結構，且事件幀判別器中的卷積為2D卷積，所述事件序列判別器為PatchGAN結構，且事件序列判別器中的卷積為3D卷積。

以下還提供了若干可選方式，但并不作為對上述總體方案的額外限定，僅僅是進一步的增補或優選，在沒有技術或邏輯矛盾的前提下，各可選方式可單獨針對上述總體方案進行組合，還可以是多個可選方式之間進行組合。

作為優選，所述殘差塊中的卷積采用擴張因子為2的擴張卷積。

作為優選，所述利用所述訓練數據優化所述輕量生成對抗網絡得到最優的網絡參數，包括：

基于訓練數據取P對相匹配的損失事件圖像和未損失事件圖像；

將P張損失事件圖像作為一個損失事件圖像序列輸入所述生成器中，得到所述生成器輸出的填補事件圖像序列，所述填補事件圖像序列中的每一填補事件圖像與作為輸入的損失事件圖像序列中的每一損失事件圖像相對應；

將P張未損失事件圖像作為一個未損失事件圖像序列，根據所述未損失事件圖像序列和填補事件圖像序列，先基于判別器的總損失函數進行判別器的反向傳播，再基于生成器的總損失函數進行生成器的反向傳播；