[發(fā)明專(zhuān)利]一種場(chǎng)景運(yùn)動(dòng)目標(biāo)分割方法、系統(tǒng)、存儲(chǔ)介質(zhì)及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201811548682.4
• 申請(qǐng)日: 2018-12-18
• 公開(kāi)（公告）號(hào): CN109447082B
• 公開(kāi)（公告）日: 2020-09-15
• 發(fā)明（設(shè)計(jì)）人: 姚劍;董穎青;涂靜敏;常娟
• 申請(qǐng)（專(zhuān)利權(quán)）人: 武漢尺子科技有限公司
• 主分類(lèi)號(hào): G06K9/34
• 分類(lèi)號(hào): G06K9/34;G06T7/269
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立;楊彩蘭

本發(fā)明涉及場(chǎng)景運(yùn)動(dòng)目標(biāo)分割方法、系統(tǒng)、存儲(chǔ)介質(zhì)及設(shè)備，其方法包括將由兩幅具有時(shí)間差的待拼接影像組成的影像對(duì)中每個(gè)前景目標(biāo)進(jìn)行分割，根據(jù)分割得到的前景目標(biāo)的實(shí)例分割坐標(biāo)位置切割其對(duì)應(yīng)的待拼接影像,得到前景目標(biāo)的原影像區(qū)域信息；確定影像對(duì)的光流場(chǎng)信息；確定前景目標(biāo)的運(yùn)動(dòng)狀態(tài)類(lèi)型；將每個(gè)前景目標(biāo)的實(shí)例分割結(jié)果、實(shí)例分割坐標(biāo)位置和運(yùn)動(dòng)狀態(tài)類(lèi)型進(jìn)行一一映射和標(biāo)注，得到運(yùn)動(dòng)目標(biāo)分割結(jié)果。本發(fā)明對(duì)影像對(duì)進(jìn)行實(shí)例分割后結(jié)合光流場(chǎng)作為運(yùn)動(dòng)特征信息來(lái)判斷前景目標(biāo)的運(yùn)動(dòng)狀態(tài)類(lèi)型，得到運(yùn)動(dòng)目標(biāo)分割結(jié)果，在完成目標(biāo)級(jí)的帶語(yǔ)義信息分割的同時(shí)，實(shí)現(xiàn)對(duì)各目標(biāo)運(yùn)動(dòng)狀態(tài)的分類(lèi)，對(duì)運(yùn)動(dòng)目標(biāo)實(shí)現(xiàn)逐像素目標(biāo)級(jí)的分割，抗噪聲能力更強(qiáng)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理與計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種場(chǎng)景運(yùn)動(dòng)目標(biāo)分割方法、系統(tǒng)、存儲(chǔ)介質(zhì)及設(shè)備。

背景技術(shù)

隨著國(guó)民經(jīng)濟(jì)的發(fā)展和國(guó)力的增強(qiáng)，中國(guó)人民對(duì)社會(huì)和個(gè)人安全的重視程度越來(lái)越高，對(duì)監(jiān)控系統(tǒng)的需求也隨之變大。據(jù)統(tǒng)計(jì)，在過(guò)去十年的時(shí)間里，中國(guó)是監(jiān)控?cái)z像頭增長(zhǎng)最快的國(guó)家。根據(jù)咨詢(xún)公司IHS Markit 2016年的數(shù)據(jù)，中國(guó)共裝有1.76億個(gè)監(jiān)控?cái)z像頭，其中公安系統(tǒng)掌握了2000萬(wàn)的監(jiān)控?cái)z像頭。因此，視頻監(jiān)控系統(tǒng)又被稱(chēng)為“天網(wǎng)工程”，對(duì)人口密度大的中國(guó)來(lái)說(shuō)十分重要。

傳統(tǒng)的視頻監(jiān)控主要依靠人眼觀察和監(jiān)控，但人的精力畢竟是有限的，在進(jìn)行人為監(jiān)控時(shí)，對(duì)有效信息難免存在遺漏現(xiàn)象，甚至有誤報(bào)的情況出現(xiàn)，嚴(yán)重影響了監(jiān)控系統(tǒng)應(yīng)該具備的實(shí)用性和安全性。因此，隨著智能化的不斷發(fā)展，智能化的監(jiān)控系統(tǒng)逐漸走進(jìn)了人們的生活。運(yùn)動(dòng)目標(biāo)的準(zhǔn)確分割作為智能監(jiān)控系統(tǒng)的關(guān)鍵部分，是目標(biāo)追蹤以及目標(biāo)行為分析等后期處理的基礎(chǔ)，它的研究?jī)r(jià)值和市場(chǎng)潛力是無(wú)可估量的。此外，在影像拼接過(guò)程的鬼影去除以及當(dāng)前熱門(mén)的無(wú)人駕駛等應(yīng)用中，運(yùn)動(dòng)目標(biāo)分割也起著至關(guān)重要的作用。

在過(guò)去的幾十年里，隨著不同領(lǐng)域科學(xué)技術(shù)的迅速發(fā)展，運(yùn)動(dòng)目標(biāo)的檢測(cè)與分割技術(shù)也緊跟其后，深入到了計(jì)算機(jī)視覺(jué)、模式識(shí)別、視頻影像處理和人工智能等各個(gè)領(lǐng)域。傳統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)和分割的方法對(duì)影像的灰度信息具有較強(qiáng)的依賴(lài)性，經(jīng)典的運(yùn)動(dòng)目標(biāo)分割算法有幀差法，背景差分法以及光流法等，及其他各類(lèi)基于這些算法為基礎(chǔ)的改進(jìn)算法。

隨著深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的普及，廣大研究學(xué)者開(kāi)始了基于深度學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)分割方法的探索，利用深度學(xué)習(xí)進(jìn)行運(yùn)動(dòng)目標(biāo)分割的方法開(kāi)始出現(xiàn)，運(yùn)動(dòng)目標(biāo)的分割過(guò)程中，類(lèi)別也有原來(lái)的未知變?yōu)橐阎蒙疃壬窠?jīng)網(wǎng)絡(luò)學(xué)習(xí)運(yùn)動(dòng)標(biāo)簽來(lái)進(jìn)行運(yùn)動(dòng)目標(biāo)分割的方法越來(lái)越普遍，大部分基于深度學(xué)習(xí)進(jìn)行運(yùn)動(dòng)目標(biāo)分割的方法都以視頻序列信息為對(duì)象，通過(guò)運(yùn)動(dòng)特征來(lái)提取運(yùn)動(dòng)的區(qū)域。如針對(duì)視頻影像序列，通過(guò)將從稀疏運(yùn)動(dòng)信息中學(xué)習(xí)的顏色和局部線索得到關(guān)鍵幀后，利用馬爾可夫隨機(jī)場(chǎng)框架基于這些運(yùn)動(dòng)線索估計(jì)移動(dòng)子目標(biāo)，最后通過(guò)將這些學(xué)習(xí)的顏色和局部提示信息相結(jié)合，得到最終的運(yùn)動(dòng)目標(biāo)分割結(jié)果的方法。該方法的優(yōu)勢(shì)在于對(duì)目標(biāo)只有部分位置移動(dòng)的目標(biāo)，仍可利用多張關(guān)鍵幀的信息，檢測(cè)并分割出整個(gè)運(yùn)動(dòng)的物體，魯棒性強(qiáng)。然而，該運(yùn)動(dòng)物體的任何一個(gè)部分都需在關(guān)鍵幀中出現(xiàn)至少一次，才能保證分割精度，受限大。基于這一問(wèn)題，一種根據(jù)“移動(dòng)物體的可能性”來(lái)判斷影像中包含移動(dòng)物體可能性的方法，該方法同樣基于視頻序列，通過(guò)對(duì)每幀影像使用前景-背景分割，計(jì)算每幀的運(yùn)動(dòng)邊界，并根據(jù)基于影像和運(yùn)動(dòng)場(chǎng)訓(xùn)練出運(yùn)動(dòng)目標(biāo)探測(cè)器來(lái)提取運(yùn)動(dòng)目標(biāo)，最后利用超像體投影來(lái)改進(jìn)分割精度，減少了對(duì)運(yùn)動(dòng)物體出現(xiàn)次數(shù)的限制，對(duì)遮擋等問(wèn)題也能妥善解決。然而，由于步驟復(fù)雜，該方法的計(jì)算速度慢，處理速度難以達(dá)到實(shí)時(shí)。為改善計(jì)算速度，一種需要結(jié)合目標(biāo)的形態(tài)和運(yùn)動(dòng)線索來(lái)探測(cè)無(wú)人機(jī)和飛機(jī)等飛行物體的方法被提出，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行飛行器的運(yùn)動(dòng)補(bǔ)償和運(yùn)動(dòng)檢測(cè)，并基于回歸的方法在圖像塊中計(jì)算以運(yùn)動(dòng)目標(biāo)為中心的運(yùn)動(dòng)穩(wěn)定性，保持影像局部區(qū)域的運(yùn)動(dòng)穩(wěn)定化，對(duì)快速運(yùn)動(dòng)的飛行器分割效果佳，且由于算法復(fù)雜度較低，計(jì)算速度較快。

以上方法在運(yùn)動(dòng)運(yùn)動(dòng)分割方面整體上取得了不錯(cuò)的效果，但對(duì)大數(shù)據(jù)集不適用，且分割結(jié)果的類(lèi)別信息仍舊未知。