[發(fā)明專利]一種動(dòng)態(tài)事件相機(jī)數(shù)據(jù)抗飽和輕量化處理系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310275621.X
• 申請日: 2023-03-17
• 公開（公告）號(hào): CN116437190A
• 公開（公告）日: 2023-07-14
• 發(fā)明（設(shè)計(jì)）人: 陳昕;鄒卓;顏全樞;劉從陽
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號(hào): H04N23/60
• 分類號(hào): H04N23/60
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，具體是一種動(dòng)態(tài)事件相機(jī)數(shù)據(jù)抗飽和輕量化處理系統(tǒng)。本發(fā)明系統(tǒng)包括數(shù)據(jù)接收緩沖模塊、幀率計(jì)算檢測模塊、時(shí)間域硬件友好抗飽和模塊、圖像化處理模塊、空間域硬件友好抗飽和模塊；本發(fā)明摒棄了傳統(tǒng)的乘除等硬件資源消耗較大的計(jì)算方式，采用加減、比較、2supgt;n/supgt;等硬件友好的方式，實(shí)現(xiàn)輕量化事件相機(jī)預(yù)處理，可以作為動(dòng)態(tài)事件相機(jī)的處理方案，由于其硬件友好性，可以將其設(shè)置于硬件中，包括FPGA、ASIC、嵌入式設(shè)備，可從時(shí)間和空間維度極大地減小動(dòng)態(tài)事件信息的數(shù)據(jù)量，從而解決事件相機(jī)數(shù)據(jù)飽和問題，降低整個(gè)系統(tǒng)的端到端延時(shí)。

技術(shù)領(lǐng)域

本發(fā)明屬于動(dòng)態(tài)事件相機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及動(dòng)態(tài)事件相機(jī)數(shù)據(jù)抗飽和輕量化處理系統(tǒng)。

背景技術(shù)

動(dòng)態(tài)事件相機(jī)基于仿生建立，其功能為捕捉正在運(yùn)動(dòng)的信息并回傳異步的信息。也就是在相機(jī)像素內(nèi)，每一個(gè)像素值變化都會(huì)回傳一個(gè)脈沖，當(dāng)光強(qiáng)產(chǎn)生變化的時(shí)候做出相應(yīng)，當(dāng)光強(qiáng)沒有產(chǎn)生變化的時(shí)候不做響應(yīng)。因此具有異步特點(diǎn)和低時(shí)延特點(diǎn)。

動(dòng)態(tài)事件相機(jī)傳輸?shù)男畔椋阂訟ER數(shù)據(jù)形式編碼的(x,y,p,t)信息。是一種空間稀疏且時(shí)間密集的事件流。在傳輸?shù)男畔⒅校瑇為事件發(fā)生的橫坐標(biāo)，y為事件發(fā)生的縱坐標(biāo)，p(polarity)為事件發(fā)生的極性，t為事件發(fā)生的時(shí)間。

動(dòng)態(tài)事件相機(jī)具體像素電路的組成結(jié)構(gòu)為：對(duì)數(shù)光感受器、差分電路、兩個(gè)比較器(分別為閾值比較器和內(nèi)部的握手電路)。對(duì)數(shù)光感受器的功能為當(dāng)光強(qiáng)進(jìn)行變化時(shí)，對(duì)變化的部分做出響應(yīng)和反應(yīng)；差分電路的功能為，接收感光電路的輸出信號(hào)并進(jìn)行放大；比較器的功能為，通過比較電壓的變化，實(shí)現(xiàn)ON/OFF事件脈沖的輸出。

事件相機(jī)具有非常高的微秒級(jí)別時(shí)間分辨率。這意味著，一個(gè)像素每秒最多可以產(chǎn)生100萬個(gè)事件。因此，一個(gè)分辨率為128×128的DVS128可以每秒產(chǎn)生164億個(gè)事件。也就是每秒有幾百萬個(gè)事件被記錄下來。

DVS傳感器可以產(chǎn)生大量的事件流，需要大量的資源來處理。當(dāng)落實(shí)到硬件與嵌入式系統(tǒng)上時(shí)，處理可能遭受硬件的限制，如能源資源，內(nèi)存、計(jì)算能力和通信帶寬。在這種情況下，密集的事件流既不能存儲(chǔ)，也不能在線處理，輸出的像素值已經(jīng)超過了后續(xù)系統(tǒng)的處理范圍，這極大的增加了后續(xù)數(shù)據(jù)處理難度。這也是動(dòng)態(tài)事件相機(jī)容易出現(xiàn)數(shù)據(jù)飽和問題的原因。

因此，急需一種技術(shù)來解決事件相機(jī)數(shù)據(jù)飽和的問題。本發(fā)明提出了一種動(dòng)態(tài)事件相機(jī)數(shù)據(jù)抗飽和輕量化處理系統(tǒng)，其中替換了大量的乘除單元，可以運(yùn)用加法/比較/移位等硬件友好方式實(shí)現(xiàn)，從而具有輕量化和硬件友好的特點(diǎn)。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的問題，提供了一種動(dòng)態(tài)事件相機(jī)數(shù)據(jù)抗飽和輕量化處理系統(tǒng)，可以減少動(dòng)態(tài)事件相機(jī)的數(shù)據(jù)量，從而減少后續(xù)處理方案的計(jì)算量。本發(fā)明方法計(jì)算量較少，具有輕量化和硬件友好的特點(diǎn)。

本發(fā)明提供的動(dòng)態(tài)事件相機(jī)數(shù)據(jù)抗飽和輕量化處理系統(tǒng)，包括數(shù)據(jù)接收緩沖模塊、幀率計(jì)算與檢測模塊、時(shí)間域硬件友好抗飽和模塊、圖像化處理模塊、空間域硬件友好抗飽和模塊；其中：

所述數(shù)據(jù)接收模塊，用于接收動(dòng)態(tài)事件相機(jī)端的數(shù)據(jù)，并將其輸出到后續(xù)處理設(shè)備中；

所述幀率計(jì)算與檢測模塊，用于計(jì)算并得到脈沖發(fā)放的幀率，幀率到達(dá)閾值的時(shí)候，開啟后續(xù)的系統(tǒng)；

所述時(shí)間域硬件友好抗飽和模塊，用于減少動(dòng)態(tài)事件相機(jī)數(shù)據(jù)輸出的時(shí)間域數(shù)量，具體通過求相鄰2ⁿ個(gè)時(shí)間的平均值的方式實(shí)現(xiàn)；

所述數(shù)據(jù)圖像化處理模塊，通過把不同像素點(diǎn)的脈沖進(jìn)行累加，用于把動(dòng)態(tài)事件相機(jī)的原始數(shù)據(jù)轉(zhuǎn)化為后續(xù)方便處理的事件圖片數(shù)據(jù)；

所述空間域硬件友好抗飽和模塊，用于對(duì)于處理出來的事件圖片數(shù)據(jù)格式進(jìn)行降采樣，從而能夠從空間維度降低動(dòng)態(tài)事件相機(jī)數(shù)據(jù)量。

進(jìn)一步地：