[發(fā)明專利]基于動(dòng)態(tài)視覺傳感器的高速運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011091863.6
• 申請(qǐng)日: 2020-10-13
• 公開（公告）號(hào): CN112184760B
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 陳亮;宋文娜;徐東君
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06T7/223
• 分類號(hào): G06T7/223;G06N3/04
• 代理公司: 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會(huì)

本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種基于動(dòng)態(tài)視覺傳感器的高速運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤方法，旨在解決高速運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤方法存在高冗余、高延遲、高噪聲以及檢測(cè)跟蹤精度差的問題。本系統(tǒng)方法包括獲取目標(biāo)場(chǎng)景中各高速運(yùn)動(dòng)目標(biāo)當(dāng)前幀的地址事件數(shù)據(jù)流，作為輸入數(shù)據(jù)；通過脈沖神經(jīng)網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)進(jìn)行去噪、最大池化處理，并將設(shè)定染色核滑動(dòng)掃描所有子區(qū)域，獲取染色表信息，作為第一信息；通過預(yù)測(cè)器得到當(dāng)前幀預(yù)測(cè)的染色表信息，作為第二信息；通過預(yù)設(shè)的更新方法對(duì)第一信息、第二信息進(jìn)行更新；輸出最終獲取的待追蹤的高速運(yùn)動(dòng)目標(biāo)的染色表信息。本發(fā)明降低了數(shù)據(jù)的冗余量、傳輸延遲、存在噪聲的問題，提高了檢測(cè)跟蹤的精度。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種基于動(dòng)態(tài)視覺傳感器的高速運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤方法、系統(tǒng)、裝置。

背景技術(shù)

運(yùn)動(dòng)的視覺分析是近年來計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)熱點(diǎn)問題，它從圖像序列中檢測(cè)、識(shí)別、跟蹤運(yùn)行目標(biāo)并對(duì)其行為進(jìn)行理解和描述，在智能醫(yī)療、工業(yè)質(zhì)量檢測(cè)、機(jī)器人跟蹤導(dǎo)航、體育賽事、力學(xué)測(cè)試分析、智能交通及軍事視覺制導(dǎo)等方面有著極其廣泛的應(yīng)用。而高能效的攝像機(jī)、低能耗處理器的實(shí)時(shí)視覺處理算法以及穩(wěn)定的性能都是目標(biāo)檢測(cè)、識(shí)別、跟蹤在實(shí)際中應(yīng)用的關(guān)鍵。

動(dòng)態(tài)視覺傳感器(Dynamic vision sensor,DVS)是一種事件驅(qū)動(dòng)型的光電傳感器，不同于傳統(tǒng)圖像傳感器(攝像機(jī))輸出是以完整感光面形成圖像幀，具有高冗余、高延遲、高噪聲、低動(dòng)態(tài)范圍和高數(shù)據(jù)量等缺陷，DVS輸出是獨(dú)立事件構(gòu)成的數(shù)據(jù)流，然后根據(jù)時(shí)間劃分形成的圖像幀，具有仿生視覺特征。同時(shí)，由于DVS只對(duì)亮度對(duì)比發(fā)生變化的區(qū)域產(chǎn)生事件輸出，從而具有過濾相對(duì)靜態(tài)背景、只對(duì)動(dòng)態(tài)目標(biāo)形成輸出信號(hào)的特點(diǎn)，在實(shí)際應(yīng)用中可以極大減少冗余數(shù)據(jù)量，節(jié)省計(jì)算資源和通信帶寬。此外，DVS可用于亮度變化的高動(dòng)態(tài)場(chǎng)景，且具有高時(shí)間分辨率采集能力，在視覺智能型移動(dòng)設(shè)備及針對(duì)高速運(yùn)動(dòng)目標(biāo)的檢測(cè)中將帶來廣泛的應(yīng)用前景，因此在機(jī)器學(xué)習(xí)、神經(jīng)科學(xué)、計(jì)算機(jī)視覺等領(lǐng)域引起了強(qiáng)烈關(guān)注。

脈沖神經(jīng)網(wǎng)絡(luò)是第三代神經(jīng)網(wǎng)絡(luò)，由脈沖神經(jīng)元模型為基本單元構(gòu)成。通過使用特定時(shí)間的單個(gè)脈沖，將空間信息、時(shí)間信息、頻率信息、相位信息等融入通信和計(jì)算中，具有更高的生物真實(shí)性。而動(dòng)態(tài)視覺傳感器的輸出為事件流，具有仿生視覺特征。這在一定程度上反映了動(dòng)態(tài)視覺傳感器和脈沖神經(jīng)網(wǎng)絡(luò)之間可能存在的關(guān)聯(lián)性。基于此，本發(fā)明結(jié)合動(dòng)態(tài)視覺傳感器和脈沖神經(jīng)網(wǎng)絡(luò)提出了一種基于動(dòng)態(tài)視覺傳感器的高速運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤方法。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決現(xiàn)有基于傳統(tǒng)圖像傳感器的高速運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤方法存在高冗余、高延遲、高噪聲以及檢測(cè)跟蹤精度差的問題，本發(fā)明第一方面，提出了一種基于動(dòng)態(tài)視覺傳感器的高速運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤方法，該方法包括：

步驟S10，通過動(dòng)態(tài)視覺傳感器獲取目標(biāo)場(chǎng)景中各高速運(yùn)動(dòng)目標(biāo)當(dāng)前幀的地址事件數(shù)據(jù)流，作為輸入數(shù)據(jù)；

步驟S20，通過預(yù)構(gòu)建的脈沖神經(jīng)網(wǎng)絡(luò)對(duì)所述輸入數(shù)據(jù)進(jìn)行去噪、最大池化處理，得到子區(qū)域；將設(shè)定染色核滑動(dòng)掃描所有子區(qū)域，獲取染色表信息，作為第一信息；所述染色表信息包括高速運(yùn)動(dòng)目標(biāo)的目標(biāo)信息；所述目標(biāo)信息包括目標(biāo)區(qū)域中心坐標(biāo)、顏色編號(hào)、設(shè)定的時(shí)間標(biāo)簽值及目標(biāo)區(qū)域長(zhǎng)、寬、面積；

步驟S30，根據(jù)上一幀獲取的第一信息，通過基于橫向?yàn)V波器構(gòu)建的預(yù)測(cè)器得到當(dāng)前幀預(yù)測(cè)的染色表信息，作為第二信息；通過預(yù)設(shè)的更新方法對(duì)所述第一信息、所述第二信息進(jìn)行更新；

步驟S40，依次計(jì)算更新后的第一信息與上一幀獲取的第三信息中目標(biāo)區(qū)域面積的重疊比，將重疊比最大的兩兩高速運(yùn)動(dòng)目標(biāo)進(jìn)行合并，并將無重疊的高速運(yùn)動(dòng)目標(biāo)插入上一幀獲取的第三信息中，作為所述目標(biāo)場(chǎng)景中當(dāng)前幀獲取的第三信息；所述第三信息為最終獲取的待追蹤的高速運(yùn)動(dòng)目標(biāo)的染色表信息。

在一些優(yōu)選的實(shí)施方式中，步驟S20與步驟S30之間還包括合并步驟：