[發明專利]一種移動物體的狀態檢測方法及檢測裝置

在審

• 申請號: 202110635008.5
• 申請日: 2021-06-07
• 公開（公告）號: CN113362369A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 秦家虎;周文華;王帥;張展鵬
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/246;G06T7/269;G06N3/04;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 孫蕾

本發明公開了一種移動物體的狀態檢測方法，包括：獲取單目相機拍攝得到的圖像幀序列，其中，該圖像序列的圖像幀中包括待檢測移動物體；對該圖像幀序列進行目標檢測，得到用于表征該待檢測移動物體的圖像塊樣本；將該圖像塊樣本輸入特征提取模塊，輸出該待檢測移動物體的光流信息和跟蹤信息；以及將該光流信息和跟蹤信息輸入神經網絡模型，輸出該待檢測移動物體的狀態信息。

技術領域

本發明涉及交通安全技術領域，尤其涉及一種移動物體的狀態檢測方法及檢測裝置領域。

背景技術

在過去的幾年中，智能駕駛系統得到了快速發展，感知自動駕駛汽車周圍的動態環境是實現自動駕駛的關鍵任務，車輛相對速度估計是現代智能駕駛系統所需的基本功能。傳統上，車輛周圍的動態環境信息是通過距離傳感器(例如LiDAR或毫米波雷達)感知的。

目前，應用距離傳感器(例如LiDAR或毫米波雷達)是智能駕駛應用中最具代表性的解決方案之一。這些傳感器可以直接測量其他車輛的距離和速度，但是它們容易受到不利環境因素的影響，例如雨，雪或霧。

最近研究表明，在自動駕駛場景下通過運動的結構來估計自我運動以及單目相機圖像的視差圖確實是可能的，但仍然是有限的。基于動態場景流的方法取得很好的效果，但是這種方法依賴于立體圖像數據集。此外，它們以非常高的計算成本為代價，因此在單個CPU內核上對時間幀對的估計可能需要5～10分鐘。在自動駕駛場景中，計算資源通常非常有限，這使得對象場景流目前在實踐中不可行。

另外，在動態應用場景中，由于靜態背景與運動車輛之間的運動分配不平衡，因此預測整個圖像中的光流并不是理想的選擇。當行駛中的車輛的實際流量僅為像素的一小部分時，來自完整圖像流網絡的預測流量最終為零。此外，由于透視投影，高速行駛中的車輛可能具有較小的光流；另一方面，低速的近距離車輛可能會在圖像上產生較大的流量。這種情況擴大了全圖像流網絡的缺點。

發明內容

(一)要解決的技術問題

本發明公開了一種移動物體的狀態檢測方法及檢測裝置，以至少部分的解決上述技術問題。

(二)技術方案

為達到上述目的，本發明一實施例提供了一種移動物體的狀態檢測方法，包括：獲取單目相機拍攝得到的圖像幀序列，其中，該圖像序列的圖像幀中包括待檢測移動物體；對該圖像幀序列進行目標檢測，得到用于表征該待檢測移動物體的圖像塊樣本；將該圖像塊樣本輸入特征提取模塊，輸出該待檢測移動物體的光流信息和跟蹤信息；以及將該光流信息和跟蹤信息輸入神經網絡模型，輸出該待檢測移動物體的狀態信息。

根據本發明的實施例，對該圖像幀序列進行目標檢測，得到用于表征該待檢測移動物體的圖像塊樣本包括：將該圖像幀序列中的圖像幀輸入目標檢測器，輸出用于表征該待檢測移動物體的邊界框(bounding box)B_i＝(l_i，t_i，r_i，b_i)，其中，l_i為該邊界框的左邊界坐標，t_i為該邊界框的上邊界坐標，r_i為該邊界框的右邊界坐標，b_i為該邊界框的下邊界坐標；

根據預設裁剪規則對該邊界框進行裁剪，得到與該邊界框對應的圖像塊；

根據該圖像塊構建該圖像塊樣本。

根據本發明的實施例，根據預設裁剪規則對該邊界框進行裁剪，得到與該邊界框對應的圖像塊包括：

對于邊界框B_i＝(l_i，t_i，r_i，b_i)，裁剪區域定義為：

其中，σ為擴展因子。