[發明專利]一種移動環境下稀疏場景流檢測方法和裝置

有效

• 申請號: 201710897706.6
• 申請日: 2017-09-28
• 公開（公告）號: CN107657644B
• 公開（公告）日: 2019-11-15
• 發明（設計）人: 陳平;張凱;盧維;潘石柱
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 11291 北京同達信恒知識產權代理有限公司
• 代理人: 黃志華<國際申請>=<國際公布>=<進入

本發明公開了一種移動環境下稀疏場景流檢測方法和裝置，具體通過雙目相機對移動環境中的圖像進行采集，獲取當前幀的左圖和右圖以及當前幀的上一幀的左圖和右圖共四個圖像；基于這四個圖像，獲得與第一稀疏場景流相對應第一匹配點對集合；對所述第一匹配點對集合進行擴充，獲得與第二稀疏場景流對應的第二匹配點對集合；獲得第二稀疏場景流中的所述雙目相機的自運動場景流和運動目標場景流。根據所述雙目相機的自運動場景流，可以獲取所述雙目相機的位姿狀態和視覺里程計；根據所述運動目標場景流，可以獲取所述運動目標的運動軌跡和/或預測所述運動目標的運動狀態。

技術領域

本發明涉及圖像處理和計算機視覺領域，尤其涉及一種移動環境下稀疏場景流檢測方法和裝置。

背景技術

隨著軟硬件設備性能的不斷提高和人工智能技術的逐步發展，傳統的固定狀態下的靜止場景分析正逐漸走向移動狀態下的運動場景分析，與此同時移動平臺下的視覺監控分析正受到越來越廣泛地關注。

場景流是指實際場景固有目標的三維場景運動矢量，而光流是指實際場景投影圖像的二維表面運動矢量，其中光流本質上是場景流在二維圖像平面上的投影，因而場景流更能反映出實際目標的本質運動狀態。引入場景流分析三維場景狀態能夠更有效地獲取場景信息，并能夠準確定位和快速跟蹤三維場景目標，使得移動平臺相較于傳統的二維圖像光流，能夠實現場景語義分析和三維場景重建等感知功能。

最早的檢測運動目標的技術主要集中于二維光流運動目標檢測，多數方案依賴前后幀的背景差分進行建模檢測，并未利用三維場景流作為運動目標檢測手段，使得目標檢測過程未能對前景與背景進行有效分離。后來出現了利用雙目相機前后4幀圖像獲取稠密的場景流的方案，并通過迭代優化來獲得準確度較高的深度和光流，使得目標檢測過程耗時非常長而遠達不到實時處理。或者利用雙目相機前后4幀圖像獲取稀疏的場景流，然而難以獲取低紋理區域的場景流，使得稀疏特征不能均勻分布于整幅圖像而降低了檢測的有效性。

可見，現有技術中至少存在如下技術問題：在檢測運動目標時，通過獲取稠密場景流進行檢測時，會導致檢測過程耗時長且不能實時處理數據，通過獲取稀疏場景流進行檢測時，難以獲取低紋理區域的場景流，會導致檢測準確度降低。

發明內容

本發明實施例通過提供一種移動環境下稀疏場景流檢測方法和裝置，用于解決現有技術中在檢測運動目標時，通過獲取稠密場景流進行檢測時，會導致檢測過程耗時長且不能實時處理數據，通過獲取稀疏場景流進行檢測時，難以獲取低紋理區域的場景流，會導致檢測精度降低的技術問題。

第一方面，本發明一實施例提供了一種移動環境下稀疏場景流檢測方法，所述方法包括：

通過雙目相機對移動環境中的圖像進行采集，獲取當前幀的第一圖像和第二圖像以及當前幀的上一幀的第三圖像和第四圖像；

基于所述第一圖像、所述第二圖像、所述第三圖像和所述第四圖像，獲得第一匹配點對集合，其中，所述第一匹配點對集合與第一稀疏場景流相對應；

對所述第一匹配點對集合進行擴充，獲得第二匹配點對集合；

對所述第二匹配點對集合進行劃分，獲得第二匹配點對集合中的內點匹配點對集合和外點匹配點對集合；

基于所述內點匹配點對集合和所述外點匹配點對集合，獲得第二稀疏場景流中的所述雙目相機的自運動場景流和運動目標場景流，其中，所述第二匹配點對集合與所述第二稀疏場景流相對應。

可選的，在所述通過雙目相機對移動環境中的圖像進行采集，獲取當前幀的第一圖像和第二圖像以及當前幀的上一幀的第三圖像和第四圖像之前，所述方法還包括：

將雙目相機的左相機和右相機平行放置，使得所述左相機的光軸和所述右相機的光軸平行，對所述雙相機進行立體標定，獲得所述雙目相機的內參數和外參數。