[發(fā)明專利]一種基于事件相機(jī)消除背景噪聲的方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011252900.7
• 申請(qǐng)日: 2020-11-11
• 公開（公告）號(hào): CN112487874B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 劉慶杰;徐庶;馬金艷;戚后林
• 申請(qǐng)（專利權(quán)）人: 中電海康集團(tuán)有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊天嬌

1.一種基于事件相機(jī)消除背景噪聲的方法，其特征在于，所述基于事件相機(jī)消除背景噪聲的方法，包括：

基于事件相機(jī)采集僅含運(yùn)動(dòng)目標(biāo)的事件流數(shù)據(jù)，作為目標(biāo)事件流數(shù)據(jù)；

基于事件相機(jī)采集僅含背景噪聲的事件流數(shù)據(jù)，作為噪聲事件流數(shù)據(jù)；

按照事件流數(shù)據(jù)中的時(shí)間分布，將所述噪聲事件流數(shù)據(jù)插值到所述目標(biāo)事件流數(shù)據(jù)中，得到合成事件流數(shù)據(jù)；

將所述目標(biāo)事件流數(shù)據(jù)、噪聲事件流數(shù)據(jù)、合成事件流數(shù)據(jù)分別編碼表征為目標(biāo)網(wǎng)格圖像、噪聲網(wǎng)格圖像、合成網(wǎng)格圖像；

構(gòu)建端到端的CNN神經(jīng)網(wǎng)絡(luò)，所述CNN神經(jīng)網(wǎng)絡(luò)的輸入為合成網(wǎng)格圖像，所述CNN神經(jīng)網(wǎng)絡(luò)的輸出定義為預(yù)測(cè)的噪聲網(wǎng)格圖像；

利用所述目標(biāo)網(wǎng)格圖像、噪聲網(wǎng)格圖像、合成網(wǎng)格圖像訓(xùn)練所述CNN神經(jīng)網(wǎng)絡(luò)，直至得到最佳的網(wǎng)絡(luò)參數(shù)；

獲取待處理的事件流數(shù)據(jù)編碼表征為待處理網(wǎng)格圖像，所述待處理的事件流數(shù)據(jù)為基于事件相機(jī)采集包含運(yùn)動(dòng)目標(biāo)和背景噪聲的事件流數(shù)據(jù)；

將所述待處理網(wǎng)格圖像輸入至運(yùn)行最佳網(wǎng)絡(luò)參數(shù)的CNN神經(jīng)網(wǎng)絡(luò)中，得到預(yù)測(cè)的噪聲網(wǎng)格圖像；

利用所述預(yù)測(cè)的噪聲網(wǎng)格圖像消除所述待處理網(wǎng)格圖像中的背景噪聲，得到消除背景噪聲后的網(wǎng)格圖像。

2.如權(quán)利要求1所述的基于事件相機(jī)消除背景噪聲的方法，其特征在于，所述按照事件流數(shù)據(jù)中的時(shí)間分布，將所述噪聲事件流數(shù)據(jù)插值到所述目標(biāo)事件流數(shù)據(jù)中，得到合成事件流數(shù)據(jù)，包括：

所述事件流數(shù)據(jù)的形式為[n*4]矩陣，其中n為離散脈沖的數(shù)量，4表示離散脈沖的維度，其中4維離散脈沖為離散的(x,y,p,t)數(shù)據(jù)，x,y表示脈沖事件的發(fā)生位置，對(duì)應(yīng)圖像中像素點(diǎn)坐標(biāo)，p表示脈沖事件的極性(光強(qiáng)變強(qiáng)時(shí)輸出正極性1，光強(qiáng)變暗時(shí)輸出負(fù)極性-1)，t表示脈沖事件發(fā)生的時(shí)間；

將所述目標(biāo)事件流數(shù)據(jù)中的4維離散脈沖按照時(shí)間先后順序進(jìn)行排序；

對(duì)于所述噪聲事件流數(shù)據(jù)中的每一4維離散脈沖，按照4維離散脈沖中的時(shí)間t的大小，將噪聲事件流數(shù)據(jù)中的每一4維離散脈沖插入排序后的目標(biāo)事件流數(shù)據(jù)中。

3.如權(quán)利要求1所述的基于事件相機(jī)消除背景噪聲的方法，其特征在于，所述將目標(biāo)事件流數(shù)據(jù)、噪聲事件流數(shù)據(jù)、合成事件流數(shù)據(jù)分別編碼表征為目標(biāo)網(wǎng)格圖像、噪聲網(wǎng)格圖像、合成網(wǎng)格圖像，包括：

所述網(wǎng)格圖像為三通道網(wǎng)格圖像，則將事件流數(shù)據(jù)編碼表征為網(wǎng)格圖像包括：

構(gòu)建三通道網(wǎng)格圖像的第一通道：選取設(shè)定時(shí)間Δt內(nèi)，像素位置(x,y)處累積發(fā)生的脈沖事件的次數(shù)表征為網(wǎng)格圖像輸入的第一通道，張量表示為C[0]＝[Batch,Width,Height,1]；

構(gòu)建三通道網(wǎng)格圖像的第二通道：在設(shè)定時(shí)間Δt內(nèi)，像素位置(x,y)處發(fā)生脈沖事件的最近時(shí)間，最近時(shí)間歸一化后表征為網(wǎng)格圖像輸入的第二通道，張量表示為C[1]＝[Batch,Width,Height,1]；

構(gòu)建三通道網(wǎng)格圖像的第三通道：采用0-1極性編碼作為網(wǎng)格圖像輸入的第三通道，在設(shè)定時(shí)間Δt內(nèi)，若像素位置(x,y)處有脈沖時(shí)間發(fā)生，則賦予正極性值為1，否則賦為0，張量表示為C[2]＝[Batch,Width,Height,1]；

合并三個(gè)通道得到三通道網(wǎng)格圖像的張量表示為[Batch,Width,Height,channel]，其中channel表示通道數(shù)，且channel＝3。

4.如權(quán)利要求1所述的基于事件相機(jī)消除背景噪聲的方法，其特征在于，所述端到端的CNN神經(jīng)網(wǎng)絡(luò)，包括卷積層、激活層和批規(guī)范化層。