[發(fā)明專利]用于事件相機(jī)數(shù)據(jù)處理的系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 202210690221.0
• 申請日: 2018-09-27
• 公開（公告）號(hào): CN115052141B
• 公開（公告）日: 2023-10-03
• 發(fā)明（設(shè)計(jì)）人: A·M·莫夫施為奇
• 申請（專利權(quán)）人: 蘋果公司
• 主分類號(hào): H04N19/103
• 分類號(hào): H04N19/103;H04N19/14;H04N19/176;H04N19/46
• 代理公司: 中國貿(mào)促會(huì)專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 張鑫

本公開涉及用于事件相機(jī)數(shù)據(jù)處理的系統(tǒng)和方法。在一些實(shí)施方案中，在具有處理器、非暫態(tài)存儲(chǔ)器和包括分布在區(qū)域上的像素傳感器的事件相機(jī)的設(shè)備處執(zhí)行一種方法。該方法包括通過將第一時(shí)間段分成子時(shí)段以及對事件流的像素事件進(jìn)行合并而將在第一時(shí)間段內(nèi)來自像素傳感器的事件流轉(zhuǎn)換為事件幀，其中子時(shí)段中的每個(gè)子時(shí)段與幀子時(shí)段標(biāo)識(shí)符相關(guān)聯(lián)。該方法還包括通過將區(qū)域細(xì)分為圖塊來對像素傳感器進(jìn)行尋址，其中每個(gè)圖塊包括像素傳感器的分組，并且特定像素傳感器的圖塊地址為圖塊標(biāo)識(shí)符和特定像素傳感器的位置定位符的組合。該方法還包括根據(jù)圖塊地址、幀子時(shí)段標(biāo)識(shí)符和亮度指示符值對像素事件進(jìn)行編碼。

本申請是申請日為2018年9月27日、名稱為“用于事件相機(jī)數(shù)據(jù)處理的系統(tǒng)和方法”、申請?zhí)枮?01880062948.6的發(fā)明專利申請的分案申請。

相關(guān)申請的交叉引用

本申請要求于2017年9月28日提交的美國臨時(shí)專利申請No.62/564,818的優(yōu)先權(quán)，該申請據(jù)此全文以引用方式并入。

技術(shù)領(lǐng)域

本公開整體涉及數(shù)字圖像處理領(lǐng)域，并且更具體地涉及由事件相機(jī)捕獲的事件數(shù)據(jù)的編碼。

背景技術(shù)

強(qiáng)度幀相機(jī)使用鐘控圖像傳感器從場景采集視覺信息。通過使用所有圖像傳感器，不管特定像素處的信息是否在上次拍攝圖像后已改變，強(qiáng)度幀相機(jī)以預(yù)設(shè)幀速率拍攝圖像。在各種情況下，這導(dǎo)致冗余。隨著圖像傳感器發(fā)展至更高的空間分辨率和時(shí)間分辨率，冗余的量增加。因此，后處理所需的硬件的容量、復(fù)雜性和成本增加。進(jìn)一步的功率消耗上升到可在電池供電的移動(dòng)設(shè)備中禁止使用的水平。

事件相機(jī)在傳感器平面處直接執(zhí)行視覺信息的預(yù)處理。事件相機(jī)包括仿生視覺傳感器，其輸出像素級(jí)亮度變化而非標(biāo)準(zhǔn)強(qiáng)度幀。輸出生成是受事件控制的，并且僅在檢測到場景中的一個(gè)或多個(gè)變化時(shí)發(fā)生。例如，通過使用事件相機(jī)傳感器，所記錄的相關(guān)信息包括由各個(gè)自主操作像素接收的照明強(qiáng)度的變化。不感測其視場變化的像素不產(chǎn)生輸出。因此，在由像素事件傳感器遞送的數(shù)據(jù)流內(nèi)僅包括關(guān)于可變對象的信息，并且不存在關(guān)于均勻表面或無運(yùn)動(dòng)背景的信息(例如，無灰度級(jí)信息形式的強(qiáng)度幀圖像數(shù)據(jù))。

與強(qiáng)度幀相機(jī)相比，事件相機(jī)具有顯著的優(yōu)點(diǎn)，即高動(dòng)態(tài)范圍和低延遲(例如，大約微秒)。然而，在具有快速運(yùn)動(dòng)的紋理化場景中，每秒生成數(shù)百萬個(gè)事件。為了處理此類繁忙場景，現(xiàn)有事件過程可能需要大量并行計(jì)算。

發(fā)明內(nèi)容

因此，本文描述了由事件相機(jī)進(jìn)行高效數(shù)據(jù)處理的系統(tǒng)和方法。此類系統(tǒng)和方法在時(shí)間段內(nèi)累積事件以便產(chǎn)生事件幀。與由強(qiáng)度幀相機(jī)生成的幀不同，本文所公開的每個(gè)事件幀表示兩個(gè)限定時(shí)間戳之間的事件的聚合。通過聚合幀中的事件并將幀頭與相應(yīng)子時(shí)段標(biāo)識(shí)符相關(guān)聯(lián)，減少了在單個(gè)事件中具有時(shí)間戳的開銷。在一些實(shí)施方案中，事件幀被劃分為圖塊。根據(jù)每個(gè)圖塊中的事件的數(shù)量，對包含高于閾值量的多個(gè)事件的繁忙圖塊被編碼，以進(jìn)一步降低對每個(gè)單獨(dú)像素進(jìn)行尋址的開銷。此類系統(tǒng)和方法因此導(dǎo)致事件數(shù)據(jù)的減少并且使得能夠以低延遲進(jìn)行有效的事件相機(jī)數(shù)據(jù)處理。

根據(jù)一些實(shí)施方案，在具有一個(gè)或多個(gè)處理器、非暫態(tài)存儲(chǔ)器和包括分布在第一區(qū)域上的多個(gè)像素傳感器的事件相機(jī)的設(shè)備處執(zhí)行一種方法。該方法包括：通過將第一時(shí)間段分成多個(gè)子時(shí)段以及基于多個(gè)子時(shí)段和像素事件的相應(yīng)時(shí)間戳對事件流的像素事件進(jìn)行合并而將第一時(shí)間段內(nèi)來自像素傳感器的事件流轉(zhuǎn)換為事件幀，其中多個(gè)子時(shí)段中的每個(gè)子時(shí)段與對應(yīng)的幀子時(shí)段標(biāo)識(shí)符相關(guān)聯(lián)。該方法還包括通過將第一區(qū)域細(xì)分為圖塊來對多個(gè)像素傳感器進(jìn)行尋址，其中所述圖塊中的每個(gè)圖塊包括多個(gè)像素傳感器的相應(yīng)分組，其中特定像素傳感器的圖塊地址為相應(yīng)圖塊標(biāo)識(shí)符和與相應(yīng)圖塊標(biāo)識(shí)符相關(guān)聯(lián)的特定像素傳感器的位置定位符的組合。該方法另外包括根據(jù)相應(yīng)圖塊地址、幀子時(shí)段標(biāo)識(shí)符和亮度指示符值對像素事件進(jìn)行編碼。