[發(fā)明專利]目標(biāo)對象檢測方法、裝置及系統(tǒng)和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

有效

• 申請?zhí)枺?/td>: 201611013117.9
• 申請日: 2016-11-15
• 公開（公告）號: CN108073864B
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 康愷;李鴻升;歐陽萬里;王曉剛
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32
• 代理公司: 北京三聚陽光知識產(chǎn)權(quán)代理有限公司 11250
• 代理人: 馬永芬

本發(fā)明公開一種目標(biāo)對象檢測方法、裝置及系統(tǒng)和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其中，所述方法包括：在視頻圖像序列的當(dāng)前幀確定至少一個(gè)待檢測的感興趣區(qū)域，每個(gè)感興趣區(qū)域至少部分包含至少一個(gè)目標(biāo)對象的信息；分別提取當(dāng)前幀的感興趣區(qū)域中的目標(biāo)對象的特征；根據(jù)目標(biāo)對象的特征對當(dāng)前幀的各個(gè)感興趣區(qū)域進(jìn)行預(yù)測，得到預(yù)測結(jié)果；根據(jù)當(dāng)前幀的各個(gè)感興趣區(qū)域的預(yù)測結(jié)果確定后續(xù)幀待檢測的感興趣區(qū)域。因此，在對目標(biāo)對象進(jìn)行檢測時(shí)，能夠?qū)?dāng)前幀的信息傳送至后續(xù)幀，實(shí)現(xiàn)不同幀圖像之間的時(shí)域信息復(fù)用，充分利用了長程的時(shí)域特征，進(jìn)而為處理對象外貌變化等復(fù)雜情況提供了時(shí)域依據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻圖像處理領(lǐng)域，具體涉及一種目標(biāo)對象檢測方法、裝置及系統(tǒng)和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

背景技術(shù)

視頻目標(biāo)對象檢測/跟蹤是靜態(tài)圖像目標(biāo)對象檢測在視頻鄰域的拓展，系統(tǒng)需要在視頻的每一幀中進(jìn)行多類別、多目標(biāo)的對象檢測/跟蹤。

現(xiàn)有技術(shù)中，視頻目標(biāo)對象檢測/跟蹤系統(tǒng)主要基于靜態(tài)對象檢測，在靜態(tài)目標(biāo)對象檢測結(jié)果的基礎(chǔ)上加入一些后期處理技術(shù)來實(shí)現(xiàn)視頻目標(biāo)對象檢測/跟蹤，諸如針對置信度的時(shí)域一維卷及神經(jīng)網(wǎng)絡(luò)(TCN)、基于運(yùn)動信息的置信度傳遞(MGP)，以及基于檢測序列的非極大值抑制(Seq-NMS)等等。這些方法一定程度上能在靜態(tài)目標(biāo)對象檢測的結(jié)果上加入時(shí)域的約束和信息，進(jìn)而提升在視頻中的檢測/跟蹤效果，但其實(shí)質(zhì)為將靜態(tài)目標(biāo)對象檢測、目標(biāo)對象跟蹤、時(shí)域目標(biāo)對象分類等關(guān)鍵步驟分隔成多個(gè)串聯(lián)步驟分別優(yōu)化。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種目標(biāo)對象檢測方法、裝置及系統(tǒng)和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以實(shí)現(xiàn)不同幀圖像之間的時(shí)域信息復(fù)用。

根據(jù)第一方面，本發(fā)明實(shí)施例提供了一種目標(biāo)對象檢測方法，包括：

在視頻圖像序列的當(dāng)前幀確定至少一個(gè)待檢測的感興趣區(qū)域，每個(gè)感興趣區(qū)域至少部分包含至少一個(gè)目標(biāo)對象的信息；分別提取當(dāng)前幀的感興趣區(qū)域中的目標(biāo)對象的特征；根據(jù)目標(biāo)對象的特征對當(dāng)前幀的各個(gè)感興趣區(qū)域進(jìn)行預(yù)測，得到預(yù)測結(jié)果；根據(jù)當(dāng)前幀的各個(gè)感興趣區(qū)域的預(yù)測結(jié)果確定后續(xù)幀待檢測的感興趣區(qū)域。

可選地，所述預(yù)測結(jié)果包括：所述感興趣區(qū)域包含目標(biāo)對象的概率和所述目標(biāo)對象的預(yù)測位置。

可選地，所述根據(jù)所述當(dāng)前幀的各個(gè)感興趣區(qū)域的預(yù)測結(jié)果確定后續(xù)幀待檢測的感興趣區(qū)域，包括：將所述當(dāng)前幀的所述目標(biāo)對象的預(yù)測位置作為所述后續(xù)幀的待檢測的感興趣區(qū)域。

可選地，所述根據(jù)所述當(dāng)前幀的各個(gè)感興趣區(qū)域的預(yù)測結(jié)果確定后續(xù)幀待檢測的感興趣區(qū)域包括：獲取所述當(dāng)前幀的感興趣區(qū)域中目標(biāo)對象在區(qū)域的邊界位置；對目標(biāo)對象所在區(qū)域?qū)?yīng)的所述邊界位置進(jìn)行加權(quán)得到與所述當(dāng)前幀的感興趣區(qū)域?qū)?yīng)的后續(xù)幀的目標(biāo)對象區(qū)域的邊界位置。

可選地，所述當(dāng)前幀的感興趣區(qū)域至少部分包含多個(gè)目標(biāo)對象的信息；所述獲取所述當(dāng)前幀的感興趣區(qū)域中目標(biāo)對象所在區(qū)域的邊界位置，包括：分別獲取感興趣區(qū)域中各類目標(biāo)對象所在區(qū)域邊界位置；所述對目標(biāo)對象所在區(qū)域?qū)?yīng)的所述邊界位置進(jìn)行加權(quán)得到與所述感興趣區(qū)域?qū)?yīng)的后續(xù)幀的目標(biāo)對象區(qū)域的邊界位置，包括：對各類目標(biāo)對象所在區(qū)域邊界位置進(jìn)行加權(quán)得到與所述感興趣區(qū)域?qū)?yīng)的后續(xù)幀的目標(biāo)對象區(qū)域的邊界位置。

可選地，所述對目標(biāo)對象所在區(qū)域?qū)?yīng)的所述邊界位置進(jìn)行加權(quán)得到與所述感興趣區(qū)域?qū)?yīng)的后續(xù)幀的目標(biāo)對象區(qū)域的邊界位置，包括：對各類目標(biāo)對象所在區(qū)域邊界位置和各類目標(biāo)對象包含在所述當(dāng)前幀的感興趣區(qū)域中的概率進(jìn)行加權(quán)得到與所述感興趣區(qū)域?qū)?yīng)的后續(xù)幀的目標(biāo)對象區(qū)域的邊界位置。

可選地，還包括：基于預(yù)設(shè)規(guī)則在視頻圖像序列的起始幀設(shè)置所述至少一個(gè)感興趣區(qū)域。

可選地，所述當(dāng)前幀的感興趣區(qū)域中的目標(biāo)對象的特征，還包括：所述當(dāng)前幀的感興趣區(qū)域記憶的目標(biāo)對象的特征軌跡。

可選地，所述特征軌跡包含：當(dāng)前幀的感興趣區(qū)域中的目標(biāo)對象的特征和所述當(dāng)前幀的先前幀的感興趣區(qū)域記憶的目標(biāo)對象的特征軌跡。