[發明專利]基于事件的圖像傳感器及其操作方法

有效

• 申請號: 201880089079.6
• 申請日: 2018-12-11
• 公開（公告）號: CN111713101B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 克里斯托夫·波什;丹尼爾·馬托林
• 申請（專利權）人: 普羅菲西公司
• 主分類號: H04N5/378
• 分類號: H04N5/378;H04N5/3745;H04N5/341
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 譚營營;胡彬

一種基于事件的圖像傳感器包括多個像素電路(1)，每個像素電路(1)包括：感光器電路(10)，感光器電路(10)包括光敏元件(101)并被配置為在輸出(11)處傳送感光器電流(I_PRout)；模擬總線(20)；一組電流存儲單元，其連接到模擬總線(20)，每個電流存儲單元適于存儲在模擬總線(20)中流動的電流，并傳送存儲在所述電流存儲單元內的電流；其中每個像素電路(1)包括電流比較器(50)，電流比較器(50)包括：?電流符號檢測器(51)，其連接到模擬總線(20)，并被配置為比較根據感光器電流和存儲在電流存儲單元中的上一感光器電流之間的差產生的比較電流的值，?至少一個存儲單元(53、54)，其具有受所述電流符號檢測器(51)的輸出限制的狀態。

技術領域

本發明涉及一種基于事件的圖像傳感器及其操作方法。

背景技術

傳統圖像傳感器獲取以預定幀速率進行時間量化的視覺信息。每個幀都承載來自所有像素的信息，而不管該信息自獲取上一幀以來是否發生變化。顯然，這種方法根據場景的動態內容，在所記錄的圖像數據中產生程度或高或低的冗余性。隨著現代圖像傳感器向更高的空間和時間分辨率發展，這個問題變得更加嚴重。數據后處理所需的硬件的復雜性和成本增加，對傳輸帶寬和數據存儲容量的需求激增，功耗增加，導致從需求量較大的高速工業視覺系統到電池供電的移動消費設備的各種視覺應用受到嚴苛的限制。

處理視頻數據中時間冗余的一種方法是幀差編碼。這種最簡單的視頻壓縮形式包括在初始關鍵幀之后，逐幀地僅傳輸超過定義的強度變化閾值的像素值。已知的幀差異成像器依賴于圖像數據全幀的獲取和處理，并且不能自洽地抑制時間冗余并無法提供實時的壓縮視頻輸出。此外，即使在像素級完成處理和差異量化時，如在所有基于幀的成像設備中一樣，場景動態獲取的時間分辨率仍然受限于可達到的幀速率，并被時間量化到該幀速率。

通過首先不記錄冗余數據并直接減少傳感器輸出級的數據量，可以最有效地避免數據冗余的不利影響。直接的好處是減少了數據傳輸和后處理的帶寬、內存和計算能力需求，從而降低了系統功耗、復雜性和成本。此外，傳統CMOS或CCD圖像傳感器的基于幀的時控操作原理會導致時間分辨率方面的限制，因為場景動態被量化為讀出像素視場的幀速率，并且動態范圍較差。

本發明要解決的問題是提供一種圖像傳感器及其操作方法，用于在寬動態范圍(可記錄和刻處理光強度的寬動態范圍)內以高時間和強度分辨率連續獲取觀察到的動態場景的全部視覺信息，從而生成最少的必要數據量。因此，所生成的數據不是由包含所有像素的圖像信息的連續幀構成，而是由各個像素的強度(即灰度)變化信息流構成的，僅當各個像素的視場光強度的實際變化被像素本身檢測到時才記錄和傳輸這些數據。

該方法通過完全抑制傳統圖像傳感器所特有的圖像信息中的時間冗余，導致所產生的數據大大減少，盡管該數據包含相同或更高的信息內容。可以基于電子電路來實現執行上述方法以及所需的異步數據讀出機制的圖像傳感器的圖像元素。例如在CMOS技術中，具有多個這樣的圖像元素的圖像傳感器通常被實現和制造為集成的片上系統。

實現這樣的傳感器并因此避免傳統圖像數據獲取的上述缺點對于包括以下項的各種人工視覺應用而言是有益的：工業高速視覺(例如，快速對象識別、運動檢測和分析、對象跟蹤等)、汽車(例如，用于碰撞預警和回避的實時3D立體視覺、智能后視鏡等)、監視和安全(場景監視)或機器人技術(自主導航、SLAM)以及生物醫學和科學成像應用。由于傳感器的操作受人視網膜的工作原理的啟發，因此一個有利的示例應用是基于由這種傳感器傳送的數據，使用可植入的假體裝置來治療失明患者的退化性視網膜。

用于實現上述完全時間冗余抑制的解決方案基于像素個體的預處理和圖像信息的獲取，所述獲取是由事件控制的并且是有條件地(即，僅在檢測到場景變化時)。如下所述，圖像數據獲取的控制被轉移到像素級。