[發(fā)明專利]使用對象邊界框的視頻片段中的重影去除的系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201780015608.3
• 申請日: 2017-04-06
• 公開（公告）號: CN108780576B
• 公開（公告）日: 2022-02-25
• 發(fā)明（設(shè)計）人: 曹永強(qiáng);N·斯里尼瓦薩
• 申請（專利權(quán)）人: 赫爾實(shí)驗(yàn)室有限公司
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/11;G06T7/50
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 黃綸偉;王萬影

描述了一種用于視頻片段中的重影去除的系統(tǒng)。在操作期間，所述系統(tǒng)生成背景減除圖，并且通過背景減除來生成包圍檢測前景對象的原始邊界框。然后，生成檢測前景圖。所述檢測前景圖包括通過視頻片段中的兩個連續(xù)幀的差異獲得的檢測前景的至少兩個檢測前景(DF)邊界框。此外，然后將所述原始邊界框修整成修整框，所述修整框是包含所述至少兩個DF邊界框的最小框。所述修整框被指定為包含真實(shí)世界對象，所述修整框然后可以被用于對象跟蹤。

政府權(quán)利

本發(fā)明以合同編號為HR001 1-13-C-0052的美國政府UPSIDE合同下的政府支持來進(jìn)行。該政府在本發(fā)明中具有特定權(quán)利。

相關(guān)申請的交叉引用

這是2016年4月6日提交的非臨時專利申請62/319,076。其全部內(nèi)容通過引用并入本文中。

發(fā)明的背景

(1)技術(shù)領(lǐng)域

本發(fā)明涉及一種用于視頻片段(video footage)中的重影去除(ghost removal)的系統(tǒng)和方法，并且，更具體地說，涉及在視頻的背景與對象邊界框內(nèi)呈現(xiàn)的前景信息之間進(jìn)行有效區(qū)分方面實(shí)現(xiàn)高效率和魯棒性的系統(tǒng)和方法。

(2)背景技術(shù)

通常使用背景減除(background subtraction)來執(zhí)行檢測視頻片段中的移動對象。背景減除是本領(lǐng)域所公知的方法，其中從視頻中減去背景，留下前景對象(即，所檢測的移動對象)(參見并入?yún)⒖嘉墨I(xiàn)No.1、No.2以及No.3)。然而，伴隨背景減除的常見問題是產(chǎn)生重影對象。重影對象是檢測到的虛假前景對象，其不對應(yīng)于任何真實(shí)對象。例如，當(dāng)背景中的靜止對象突然開始移動時，使用背景減除將在真實(shí)對象后面產(chǎn)生一個重影對象。該問題在攝像機(jī)移動的時候變得更嚴(yán)重，因?yàn)橐苿拥臄z像機(jī)會將許多新的對象帶入場景中(例如，在直升機(jī)視頻中)。已經(jīng)提出了一些方法來去除重影對象(參見參考文獻(xiàn)No.4和No.5)。大多數(shù)這些現(xiàn)有技術(shù)方法依賴于外觀或顏色信息來去除重影，其中，假設(shè)重影對象與真實(shí)對象分離。事實(shí)上，在這種情況下，所產(chǎn)生的重像偽像在本領(lǐng)域中已知為I型重影。但是，當(dāng)對象緩慢移動時，可以產(chǎn)生附加至真實(shí)對象的重影對象，在本領(lǐng)域中已知為II型重影。在具有嘈雜背景的真實(shí)圖像中，僅基于顏色信息很難去除這種類型的重影。

這些現(xiàn)有的重影去除方法對對象和背景噪聲很敏感，這使得它們在不形成重影對象的情況下執(zhí)行其預(yù)期功能的能力方面處于突出的劣勢。這種有技術(shù)方法比較重影對象與周圍環(huán)境的外觀或顏色統(tǒng)計，來去除重影對象。如上所述，這些方法對對象和背景紋理和噪聲(其在視頻片段中常見)很敏感。

因此，持續(xù)需要這樣一種用于視頻片段中的重影去除的系統(tǒng)，使得避免了傳統(tǒng)現(xiàn)有技術(shù)的上述缺陷。具體地說，需要這樣的重影去除，即，其在很大程度上不受對象和背景紋理和噪聲的影響。

發(fā)明內(nèi)容

本公開提供了一種用于視頻片段中的重影去除的系統(tǒng)。所述系統(tǒng)例如包括一個或更多個處理器和存儲器。所述存儲器是編碼有可執(zhí)行指令的非暫時性計算機(jī)可讀介質(zhì)，在執(zhí)行所述指令時，所述一個或更多個處理器執(zhí)行多個操作，諸如，生成背景減除圖；通過背景減除來生成包圍檢測前景對象的原始邊界框；生成檢測前景圖，所述檢測前景圖具有通過視頻片段中的兩個連續(xù)幀的差異獲得的檢測前景的至少兩個檢測前景(DF)邊界框；以及將所述原始邊界框修整成修整框，所述修整框是包含所述至少兩個DF邊界框的最小框，其中，所述修整框被指定為包含真實(shí)世界對象。

在另一方面，所述系統(tǒng)執(zhí)行基于所述修整框通過連續(xù)圖像幀來跟蹤所述真實(shí)世界對象的操作。

在又一方面，所述背景減除圖是根據(jù)當(dāng)前圖像幀與模型背景圖之間的差異獲得的。

在另一方面，圖根據(jù)初始圖像幀來初始化所述模型背景，此后利用先前的模型背景圖與所述當(dāng)前圖像的加權(quán)組合來更新所述模型背景，其中，所述當(dāng)前圖像的與所述檢測前景圖中的修整框內(nèi)部對應(yīng)的區(qū)域在該組合中被賦予比所述修整框的外部區(qū)域小的權(quán)重(weighting)。