[發明專利]一種事件圖像的分辨率增強方法及系統

有效

• 申請號: 201810035928.1
• 申請日: 2018-01-15
• 公開（公告）號: CN108182670B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 施路平;李洪敏;何偉;楊哲宇;裴京
• 申請（專利權）人: 清華大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

本發明提供一種事件圖像的分辨率增強方法及系統。方法包括：S1，將事件圖像分為第一類事件流和第二類事件流；S2，對于每一類事件流，根據每一類事件流的事件數量分布矩陣和發放率函數，基于拒絕采樣算法，獲取每一像素的目標事件序列；S3，將第一類事件流的所有像素的目標事件序列與第二類事件流的所有像素的目標事件序列進行合并，以獲取對事件圖像進行分辨率增強之后的增強事件圖像。通過拒絕采樣算法采樣出每一種極性事件流所對應的增強事件流的每個像素的事件序列，進而實現對低分辨率事件圖像的分辨率增強。填補了事件圖像分辨率增強領域的空白，并有效地提高了事件圖像的分辨率，有利于事件圖像的各種應用。

技術領域

本發明涉及圖像處理技術領域，更具體地，涉及一種事件圖像的分辨率增強方法及系統。

背景技術

事件相機是一種模擬生物視網膜信息編碼方法的器件，其信息輸出是以時空事件流的形式輸出。圖1為事件相機的工作原理示意圖，如圖1所示，圖1(a)示出了事件相機所要記錄的一個旋轉的圓點的旋轉過程，圖1(b)示出了事件相機輸出的事件流，圖1(c)示出了在某一時刻將時空事件累加在一個二維圖上的模式顯示。

基于硅的事件相機又叫硅視網膜或動態視覺傳感器(Dynamic Vision Sensor,DVS)。傳統基于幀的相機是以恒定的時間間隔(幀周期)獲取光強度信息(灰度或彩色像素值)，不同于傳統基于幀的相機，事件相機檢測光場中何時和何處發生強度變化。事件相機的數據輸出格式以地址事件表示(Address-Event Representation,AER)的事件流形式輸出。在AER格式中，事件e表示成一個四元組(x,y,t,p)。每個事件由生成事件的像素的物理地址(x,y)，事件的時間戳(t)和極性(p)組成，表示強度變化是增加的還是減小的，即p∈{-1,1}。事件相機的像素陣列將視覺場景以一種異步且獨立的方式產生地址事件輸出，減少數據冗余。事件相機具有兩個關鍵生物視覺屬性：稀疏性和事件流編碼的產出。事件相機已經成功使用，其適用于各種應用：高速機器人目標跟蹤、高通量數據采集、高速跟蹤和立體視覺。事件相機將視覺信息編碼成時空事件流的形式，具有快速、低功耗、低信息冗余和高動態范圍的優點，該類型的相機模擬了生物視網膜，具備生物視網膜的優勢，可廣泛應用于機器人、機器視覺、無人駕駛、快速檢測跟蹤、三維立體視覺、無人機和安防監控等視覺應用領域。

在很多事件相機的視覺應用中，超分辨率是一個很重要的信息處理步驟。事件相機產生的圖像分辨率單一、固定，甚至分辨率較低，導致顯示效果模糊不清晰、物體分類識別精度低、場景強度和運動恢復不清晰等缺點。然而現在還沒有針對事件圖像開發的超分辨率方法。

傳統的幀圖像的超分辨率包括像素插值方法、基于學習的方法等，一般是從單個低分辨率二維幀圖像中產高分辨率的二維幀圖像，這種超分辨率方法處理的是二維的三通道彩色圖像或單通道灰度圖像。而事件圖像是一種時空事件流的形式，因而無法直接將傳統幀圖像的超分辨率重建方法用于這種事件圖像。

發明內容

本發明提供一種克服上述問題或者至少部分地解決上述問題的一種事件圖像的分辨率增強方法及系統。

根據本發明的一個方面，提供一種事件圖像的分辨率增強方法，包括：

S1，根據事件圖像中每一事件的事件極性，將所述事件圖像分為第一類事件流和第二類事件流；

S2，對于每一類事件流，根據所述每一類事件流的事件數量分布矩陣和發放率函數，基于拒絕采樣算法，獲取每一像素的目標事件序列；

S3，將所述第一類事件流的所有像素的目標事件序列與所述第二類事件流的所有像素的目標事件序列進行合并，以獲取對所述事件圖像進行分辨率增強之后的增強事件圖像；

其中，所述第一類事件流為正極性事件流，所述第二類事件流為負極性事件流；

所述事件數量分布矩陣中元素的數量與對應類別的事件流的像素的數量相等，每一元素表示對應的像素的事件數量；