[發明專利]基于卷積去噪自編碼器的無監督事件相機去噪方法及裝置

在審

• 申請號: 202010698124.7
• 申請日: 2020-07-20
• 公開（公告）號: CN112053290A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 索津莉;張志宏;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 石茵汀

本發明公開了一種基于卷積去噪自編碼器的無監督事件相機去噪方法及裝置，其中，該方法包括：利用事件相機采集包含時間、空間和極性信息的含噪聲事件序列，按照固定步長對事件序列進行劃分得到事件序列切片，將事件序列切片中的事件按照對應的空間位置坐標映射到二維，構成一幅二維圖像，多段連續的事件序列切片順序映射得到重構視頻幀；構建去噪自編碼器，重構視頻幀通過預設去噪算法進行預去噪產生模擬真值，利用重構視頻幀和真值訓練去噪自編碼器得到無監督卷積去噪自編碼器，利用無監督卷積去噪自編碼器對視頻幀進行去噪。該方法可同時實現事件相機序列的二維可視化和去噪任務。

技術領域

本發明涉及信號處理與圖像去噪技術領域，特別涉及一種基于卷積去噪自編碼器的無監督事件相機去噪方法及裝置。

背景技術

事件相機(Event Camera)是一種新型的基于神經形態視覺原理的異步成像相機，又被稱為“硅視網膜”。該相機模擬了人類視網膜的成像機制，相比于傳統相機，具有功耗低、時延小、動態范圍大等優點，在無人機視覺導航、無人駕駛、高速目標檢測等方面具有很大的應用價值。但是，事件相機輸出的原始事件序列信號質量較差，嚴重制約了其在實際場景中的應用性能。此外，由于事件相機的原始輸出序列不具有二維可視化效果，往往需要重構成視頻幀才能進一步顯示或者完成后續處理，因此設計一套能夠同時實現事件相機視頻幀重構和去噪的算法是十分必要的。

事件相機是一種仿生異步成像相機。成像時，相機僅關注有變化的像素點，而沒有“幀”的概念，從而從根本上解決了傳統相機數據高度冗余的問題，節約了數據傳輸所需帶寬。事件相機是一種仿生異步成像相機。成像時，相機僅關注有變化的像素點，而沒有“幀”的概念，從而從根本上解決了傳統相機數據高度冗余的問題，節約了數據傳輸所需帶寬。此外，異步刷新機制也使得事件相機擺脫了幀率的限制，具有低延遲的特性，能夠實現對高速運動目標的準確捕捉跟蹤，并且不會產生運動模糊。在亮度檢測上，事件相機的亮度采集采用了對數響應，極大的擴寬了其成像動態范圍，從而提升了其在極端環境下的工作性能，在無人駕駛、目標檢測、安防監控等領域具有很大應用價值。

圖像去噪是圖像處理領域的基本問題之一。其目的在于通過利用圖像的平滑性、低秩性、稀疏性、自相似性及噪聲的隨機性等特征來實現圖像中噪聲的去除，從而獲取更高質量的圖像。傳統的圖像去噪算法有最近鄰濾波、雙邊濾波，非局部均值等，但是這些算法往往在自適應性和運算速度方面具有很大局限。

近幾年來，隨著機器學習和計算機視覺的興起，基于深度學習的去噪算法也受到了越來越多的關注。深度學習作為一項數據驅動的強大擬合工具，在包括去噪在內的很好任務中都具有優秀表現，并已經基本超越傳統算法所能達到的最好效果。在各類深度學習模型中，卷積神經網絡和去噪自編碼器是圖像處理中常用的兩種架構，它們能夠深入挖掘圖像的結構信息，從而實現去噪、超分辨等各類任務。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于卷積去噪自編碼器的無監督事件相機去噪方法，該方法可同時實現事件相機序列的二維可視化和去噪任務。

本發明的另一個目的在于提出一種基于卷積去噪自編碼器的無監督事件相機去噪裝置。

為達到上述目的，本發明一方面實施例提出了一種基于卷積去噪自編碼器的無監督事件相機去噪方法，包括：

利用事件相機采集包含時間、空間和極性信息的含噪聲事件序列，按照固定步長對所述事件序列進行劃分得到事件序列切片，將所述事件序列切片中的事件按照對應的空間位置坐標映射到二維，構成一幅二維圖像，多段連續的事件序列切片順序映射得到重構視頻幀；

構建去噪自編碼器，所述重構視頻幀通過預設去噪算法進行預去噪產生模擬真值，利用所述重構視頻幀和所述真值訓練所述去噪自編碼器得到無監督卷積去噪自編碼器，利用所述無監督卷積去噪自編碼器對視頻幀進行去噪。