[發(fā)明專利]基于視頻動(dòng)態(tài)前景掩膜的目標(biāo)類別修正方法、檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910087340.5
• 申請(qǐng)日: 2019-01-29
• 公開（公告）號(hào): CN109858436B
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 胡晰遠(yuǎn);王曉蓮;陳晨;彭思龍
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;黎慧華

本發(fā)明屬于視頻圖像處理領(lǐng)域，具體涉及一種基于視頻動(dòng)態(tài)前景掩膜的目標(biāo)類別修正方法、檢測(cè)方法，旨在為了解決基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)對(duì)小目標(biāo)檢測(cè)效果較差的問題。本發(fā)明修正方法包括：獲取視頻幀的第一修正集合；選取大于置信度閾值的目標(biāo)矩形框作為候選框；將前景二值掩膜圖中大于灰度閾值的像素點(diǎn)作為前景點(diǎn)，對(duì)每一個(gè)候選框，分別計(jì)算其前景像素點(diǎn)在其矩形框中的占比，并將其作為前景分?jǐn)?shù)，將該分?jǐn)?shù)與其最大置信目標(biāo)類別的置信度進(jìn)行融合，得到修正后的置信度并更新第一修正集合中的對(duì)應(yīng)目標(biāo)物體的最大置信目標(biāo)類別置信度。本發(fā)明提高了目標(biāo)檢測(cè)準(zhǔn)確性，尤其能提高小物體等難以被卷積神經(jīng)網(wǎng)絡(luò)提取特征的目標(biāo)檢測(cè)效果。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻圖像處理領(lǐng)域，具體涉及一種基于視頻動(dòng)態(tài)前景掩膜的目標(biāo)類別修正方法、檢測(cè)方法。

背景技術(shù)

目標(biāo)檢測(cè)是預(yù)測(cè)圖像中所有目標(biāo)物體的位置，用矩形框標(biāo)記，并對(duì)框內(nèi)的物體進(jìn)行類別預(yù)測(cè)的技術(shù)。目前，常采用深度卷積神經(jīng)網(wǎng)絡(luò)提取魯棒且具有表達(dá)能力的物體特征以進(jìn)行目標(biāo)檢測(cè)，相比于之前的基于手工特征組合的目標(biāo)檢測(cè)方法，提升了目標(biāo)檢測(cè)的速度和精度。

基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)分為一段式和兩段式。一段式檢測(cè)器將圖像輸入一個(gè)端到端的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)同時(shí)輸出目標(biāo)物體最終的矩形框位置和類別；兩段式先粗定位出目標(biāo)物體在圖像中的位置，此時(shí)沒有分辨矩形框內(nèi)物體所屬類別，然后利用神經(jīng)網(wǎng)絡(luò)提取的該矩形框?qū)?yīng)位置內(nèi)的特征，對(duì)框內(nèi)物體進(jìn)行細(xì)分類和框位置的微調(diào)。由于兩段式由粗到細(xì)逐步檢測(cè)，所以精度常高于一段式檢測(cè)器；但由于一段式檢測(cè)器不需要選取感興趣區(qū)域，檢測(cè)速度?？煊趦啥问綑z測(cè)器。基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法利用了神經(jīng)網(wǎng)絡(luò)出色的特征提取能力，相較于以往的手工特征更能提高檢測(cè)效果，但小目標(biāo)的特征提取常常受網(wǎng)絡(luò)框架的限制。

神經(jīng)網(wǎng)絡(luò)不具可解釋性，其內(nèi)部操作更像一個(gè)黑匣子，對(duì)神經(jīng)網(wǎng)絡(luò)框架的改變往往不能直接解決實(shí)際問題。目前對(duì)視頻進(jìn)行的目標(biāo)檢測(cè)多針對(duì)單幀處理，這就忽略了視頻序列的時(shí)間相關(guān)性；而為利用視頻幀的前后時(shí)間關(guān)系而直接使用神經(jīng)網(wǎng)絡(luò)處理視頻序列，會(huì)耗費(fèi)大量的時(shí)間和存儲(chǔ)。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)對(duì)小目標(biāo)檢測(cè)效果較差的問題，本發(fā)明的第一方面，提出了一種基于視頻動(dòng)態(tài)前景掩膜的目標(biāo)類別修正方法，該方法包括：

步驟S10，采用基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)網(wǎng)絡(luò)，獲取視頻幀的第一修正集合；所述第一修正集合包括各目標(biāo)物體的目標(biāo)矩形框、最大置信目標(biāo)類別；所述目標(biāo)矩形框?yàn)槟繕?biāo)物體的最小外接矩形框；所述最大置信目標(biāo)類別包括目標(biāo)物體非背景分類中置信度最大的類別及其置信度；

步驟S20，從所述第一修正集合中，選取大于預(yù)設(shè)置信度閾值的目標(biāo)矩形框作為候選框；

步驟S30，將前景二值掩膜圖中大于預(yù)設(shè)灰度閾值的像素點(diǎn)作為前景點(diǎn)，對(duì)每一個(gè)候選框，分別計(jì)算其前景像素點(diǎn)在其矩形框中的占比，并作為該候選框的前景分?jǐn)?shù)；所述前景二值掩膜圖為現(xiàn)有前景檢測(cè)算法獲取的所述視頻幀中運(yùn)動(dòng)物體的二值掩膜圖；

步驟S40，對(duì)每一個(gè)候選框，分別將其前景分?jǐn)?shù)與其最大置信目標(biāo)類別的置信度進(jìn)行融合，得到其最大置信目標(biāo)類別修正后的置信度；

步驟S50,基于步驟S40得到的修正后的置信度，更新所述第一修正集合中的對(duì)應(yīng)目標(biāo)物體的最大置信目標(biāo)類別置信度，得到第二修正集合。

在一些優(yōu)選實(shí)施方式中，步驟S40中“對(duì)每一個(gè)候選框，分別將其前景分?jǐn)?shù)與其最大置信目標(biāo)類別的置信度進(jìn)行融合”，其融合公式為：

f(c^p,c_f)＝c^p(1-c_f)+c_f

其中，f(c^p,c_f)為融合后的置信度，c^p為類別p的類別置信度；c_f為前景分?jǐn)?shù)。