[發明專利]使用對象邊界框的視頻片段中的重影去除的系統和方法

有效

• 申請號: 201780015608.3
• 申請日: 2017-04-06
• 公開（公告）號: CN108780576B
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 曹永強;N·斯里尼瓦薩
• 申請（專利權）人: 赫爾實驗室有限公司
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/11;G06T7/50
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 黃綸偉;王萬影

1.一種用于視頻片段中的重影去除的系統，該系統包括：

一個或更多個處理器和存儲器，所述存儲器是編碼有可執行指令的非暫時性計算機可讀介質，在執行所述指令時，所述一個或更多個處理器執行以下操作：

生成背景減除圖；

通過背景減除來生成包圍檢測前景對象的原始邊界框；

生成檢測前景圖，所述檢測前景圖具有通過視頻片段中的兩個連續幀的差異獲得的檢測前景的至少兩個檢測前景邊界框；以及

將所述原始邊界框修整成修整框，所述修整框是包含所述至少兩個檢測前景邊界框的最小框，其中，所述修整框被指定為包含真實世界對象，

其中，所述背景減除圖是根據當前圖像與模型背景圖之間的差異獲得的，

其中，所述視頻片段中的每個幀都具有幀尺寸，并且其中，所述模型背景圖是尺寸大于所述視頻片段的幀尺寸的擴展模型背景圖，以使得所述擴展模型背景圖中在更新所述模型背景圖時處于所述視頻片段中的該幀外部的部分被賦予根據未更新的幀數而減小的權重，并且其中，所述擴展模型背景圖中根據自運動移位到所述視頻片段中的該幀中的部分根據該權重與所述當前圖像組合。

2.根據權利要求1所述的系統，所述系統還包括基于所述修整框通過連續圖像幀來跟蹤所述真實世界對象的操作。

3.根據權利要求1所述的系統，其中，根據初始圖像幀來初始化所述模型背景圖，并且此后利用先前的模型背景圖與當前圖像的加權組合來更新所述模型背景圖，其中，所述當前圖像中與所述檢測前景圖中的修整框內部對應的區域在該組合中被賦予比所述修整框的外部區域小的權重。

4.根據權利要求3所述的系統，其中，所述視頻片段是從移動攝像機獲得的，使場景的新區域逐幀地進入所述當前圖像，其中，使所述模型背景圖根據確定的攝像機自運動而移位，以生成移位模型背景圖，然后將所述移位模型背景圖中的任何不包含信息的區域替換成來自所述當前圖像的像素值。

5.一種用于視頻片段中的重影去除的計算機可讀介質，該計算機可讀介質包括可執行指令，當由一個或更多個處理器執行所述指令時，所述一個或更多個處理器執行以下操作：

生成背景減除圖；

通過背景減除來生成包圍檢測前景對象的原始邊界框；

生成檢測前景圖，所述檢測前景圖具有通過視頻片段中的兩個連續幀的差異獲得的檢測前景的至少兩個檢測前景邊界框；以及

將所述原始邊界框修整成修整框，所述修整框是包含所述至少兩個檢測前景邊界框的最小框，其中，所述修整框被指定為包含真實世界對象，

其中，所述背景減除圖是根據當前圖像與模型背景圖之間的差異來獲得的，

其中，所述視頻片段中的每個幀都具有幀尺寸，并且其中，所述模型背景圖是尺寸大于所述視頻片段的幀尺寸的擴展模型背景圖，以使得所述擴展模型背景圖中在更新所述模型背景圖時處于所述視頻片段中的該幀外部的部分被賦予根據未更新的幀數而減小的權重，并且其中，所述擴展模型背景圖中根據自運動移位到所述視頻片段中的該幀中的部分根據該權重與所述當前圖像組合。

6.根據權利要求5所述的計算機可讀介質，所述計算機可讀介質還包括用于使一個或更多個處理器執行基于所述修整框通過連續圖像幀來跟蹤所述真實世界對象的操作的指令。

7.根據權利要求5所述的計算機可讀介質，其中，根據初始圖像幀來初始化所述模型背景圖，此后利用先前的模型背景圖與所述當前圖像的加權組合來更新所述模型背景圖，其中，所述當前圖像中與所述檢測前景圖中的修整框內部對應的區域在該組合中被賦予比所述修整框的外部區域小的權重。

8.根據權利要求7所述的計算機可讀介質，其中，所述視頻片段是從移動攝像機獲得的，使場景的新區域逐幀地進入所述當前圖像，其中，使所述模型背景圖根據確定的攝像機自運動而移位，以生成移位模型背景圖，然后將所述移位模型背景圖中的任何不包含信息的區域替換成來自所述當前圖像的像素值。