[發(fā)明專(zhuān)利]一種基于不規(guī)則目標(biāo)邊界對(duì)象的濃縮視頻構(gòu)建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710894771.3
• 申請(qǐng)日: 2017-09-28
• 公開(kāi)（公告）號(hào): CN107680117B
• 公開(kāi)（公告）日: 2020-03-24
• 發(fā)明（設(shè)計(jì)）人: 顧曉東;馬小駿
• 申請(qǐng)（專(zhuān)利權(quán)）人: 江蘇東大金智信息系統(tǒng)有限公司
• 主分類(lèi)號(hào): G06T7/207
• 分類(lèi)號(hào): G06T7/207;G06F16/738;G06T7/12;G06T7/155;G06T7/194
• 代理公司: 南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司 32200
• 代理人: 田凌濤

本發(fā)明涉及一種基于不規(guī)則目標(biāo)邊界對(duì)象的濃縮視頻構(gòu)建方法，把監(jiān)控視頻中的目標(biāo)抽取出來(lái)，并以方便快速高效瀏覽的方式重新安排顯示于固定背景圖片上的方法，對(duì)原始視頻中檢測(cè)出的目標(biāo)采用不規(guī)則邊界的表示形式，而不是采用傳統(tǒng)的矩形框表示形式。使得濃縮系統(tǒng)的目標(biāo)跟蹤準(zhǔn)確率獲得大幅度提升，濃縮視頻的整體融合效果大幅度提升，并且獲得這些收益，并不需要明顯的增加系統(tǒng)負(fù)擔(dān)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于不規(guī)則目標(biāo)邊界對(duì)象的濃縮視頻構(gòu)建方法，屬于數(shù)字視頻技術(shù)領(lǐng)域。

背景技術(shù)

隨著全程數(shù)字化、網(wǎng)絡(luò)化的視頻監(jiān)控系統(tǒng)的發(fā)展，視頻監(jiān)控的作用變得愈發(fā)明顯，其高度的開(kāi)發(fā)性、集成性和靈活性，為整個(gè)安防產(chǎn)業(yè)的發(fā)展提供了更加廣闊的發(fā)展空間，智能視頻監(jiān)控由于賦予更多的智能化、主動(dòng)化、有效性等特點(diǎn)，成為新一代視頻監(jiān)控趨勢(shì)。智能視頻監(jiān)控系統(tǒng)的需求主要來(lái)自于那些對(duì)安全要求敏感的場(chǎng)合，如軍隊(duì)、公安、銀行、道路、停車(chē)場(chǎng)等。當(dāng)盜竊發(fā)生或異常發(fā)生時(shí)，該類(lèi)系統(tǒng)能夠主動(dòng)向保衛(wèi)人員及時(shí)準(zhǔn)確地發(fā)出警報(bào)，使工作人員能夠充分利用視頻監(jiān)控網(wǎng)絡(luò)實(shí)施報(bào)警聯(lián)動(dòng)和應(yīng)急指揮處置，從而避免犯罪的發(fā)生。同時(shí)也減少了雇傭大批監(jiān)視人員的投入。

視頻摘要是對(duì)一長(zhǎng)段視頻內(nèi)容的簡(jiǎn)短總結(jié)。其主要作用是便于存儲(chǔ)和視頻的瀏覽或查找，相對(duì)于原始的視頻資料，視頻摘要的長(zhǎng)度要短很多，節(jié)省了存儲(chǔ)時(shí)間和空間。視頻摘要保留了原內(nèi)容的要點(diǎn)，所以對(duì)于用戶來(lái)說(shuō)，瀏覽或者查找視頻摘要比瀏覽原始視頻要節(jié)省時(shí)間。初始的視頻摘要技術(shù)摘取原始視頻中的關(guān)鍵幀組成，后來(lái)研究者開(kāi)始進(jìn)入到目標(biāo)層次，允許組合不同時(shí)間點(diǎn)出現(xiàn)的目標(biāo)摘要到同一個(gè)畫(huà)面中從而進(jìn)一步提高摘要效率(為了與傳統(tǒng)的視頻摘要區(qū)分，這種方式被稱(chēng)為視頻濃縮)。

視頻摘要和視頻濃縮的過(guò)程，一般分為以下幾個(gè)步驟：(1)目標(biāo)檢測(cè)；(2)目標(biāo)跟蹤；(3)摘要/濃縮視頻生成。

目標(biāo)檢測(cè)過(guò)程，在視頻中的每一幀執(zhí)行，檢測(cè)出該幀上出現(xiàn)的所有目標(biāo)。目標(biāo)一般都具有一個(gè)完全不規(guī)則的邊界，但是由于不規(guī)則的目標(biāo)邊界不利于相關(guān)算法的執(zhí)行，在傳統(tǒng)的做法中，一般都用一個(gè)完全包含該目標(biāo)的矩形框來(lái)表征該目標(biāo)，如圖1a中的矩形框所示；目標(biāo)跟蹤過(guò)程，把所有幀中檢測(cè)出來(lái)的目標(biāo)相互關(guān)聯(lián)，同一個(gè)目標(biāo)在不同幀中的出現(xiàn)被串成目標(biāo)的運(yùn)動(dòng)軌跡；摘要/濃縮視頻的生成過(guò)程，就是把所有這些目標(biāo)的運(yùn)動(dòng)軌跡在盡可能短的視頻內(nèi)完整表現(xiàn)出來(lái)，區(qū)別在于摘要視頻要求各運(yùn)動(dòng)目標(biāo)之間的時(shí)間順序不可打亂而濃縮視頻則允許打亂各運(yùn)動(dòng)目標(biāo)之間的時(shí)間順序。如圖1b所示是濃縮視頻中的一幀，其上除了圖1a中的所有目標(biāo)以外，還出現(xiàn)了在原始視頻中跟圖1a中的目標(biāo)不在同一時(shí)刻出現(xiàn)的其它目標(biāo)。

由于監(jiān)控視頻的海量特性，視頻的摘要和濃縮，在監(jiān)控視頻領(lǐng)域有廣泛的使用需求。但現(xiàn)階段，視頻的摘要和濃縮，仍然存在著明顯的不足。針對(duì)相對(duì)熱鬧區(qū)域的監(jiān)控視頻，幾乎每一幀中都存在著運(yùn)動(dòng)目標(biāo)，摘要視頻又不能改變目標(biāo)之間的時(shí)間順序，因此采用摘要視頻很難達(dá)到加速瀏覽、降低存儲(chǔ)的效果，因此我們把重點(diǎn)放在濃縮視頻的研究上。

視頻濃縮，現(xiàn)階段同樣存在著很多不足：(1)目標(biāo)檢測(cè)的檢出率和正確率仍難以達(dá)到完美；(2)目標(biāo)跟蹤過(guò)程有時(shí)出現(xiàn)跟丟、跟錯(cuò)的問(wèn)題；(3)濃縮視頻的結(jié)果可能會(huì)出現(xiàn)局部色調(diào)差異。以下逐一說(shuō)明這幾個(gè)問(wèn)題。

目標(biāo)檢測(cè)，一般有兩個(gè)方法：運(yùn)動(dòng)目標(biāo)檢測(cè)和基于目標(biāo)識(shí)別的檢測(cè)，不管采用哪種方案，目前的檢出率和正確率都難以達(dá)到完美的程度，這方面的研究很多，最近也取得了重要的進(jìn)展，但這不是本專(zhuān)利所關(guān)心的部分。

目標(biāo)跟蹤過(guò)程，常常會(huì)出現(xiàn)跟丟、跟錯(cuò)的問(wèn)題，這跟我們用矩形框來(lái)表示一個(gè)目標(biāo)具有直接的聯(lián)系。在圖1a中，左邊的矩形框描述了一個(gè)行人目標(biāo)，在跟蹤過(guò)程中，我們把這個(gè)矩形框中的內(nèi)容當(dāng)作行人與下一個(gè)出現(xiàn)的幀去比較、匹配，這個(gè)過(guò)程在邏輯上是存在著很大的隱患的：由于矩形框中的內(nèi)容，實(shí)際上是由兩部分組成的，一部分是它所代表的行人，另一部分卻是背景；跟蹤過(guò)程中的匹配，在行人下一次出現(xiàn)的時(shí)候，行人還是行人，這一點(diǎn)沒(méi)有變，然后背景卻是可以徹底改變的，由于矩形框中的背景部分往往會(huì)占了矩形框中的很大一部分比例，在目標(biāo)跟蹤過(guò)程中，背景的變化會(huì)極大程度上的干擾匹配，產(chǎn)生跟丟、跟錯(cuò)的問(wèn)題。