[發明專利]使用雷達和視覺定義的圖像檢測區域的對象檢測

有效

• 申請號: 201710197217.X
• 申請日: 2017-03-29
• 公開（公告）號: CN107272021B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: I·H·伊扎特;R·穆
• 申請（專利權）人: 安波福技術有限公司
• 主分類號: G01S17/931
• 分類號: G01S17/931;G01S13/931;G06V20/58;G06T7/238;G01S17/50;G01S13/52
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 李玲

本發明涉及使用雷達和視覺定義的圖像檢測區域的對象檢測。一種對象檢測系統包括雷達傳感器、相機以及控制器。雷達傳感器適合于安裝在車輛上并且用于檢測由雷達視場中的對象所反射的雷達信號。雷達信號指示對象相對于車輛的距離、距離變化率和方向。相機用于捕獲與雷達視場重疊的相機視場的圖像。控制器與雷達傳感器和相機通信。控制器配置為基于雷達檢測的距離和方向確定用于圖像的距離圖，基于距離圖在圖像中界定檢測區域，并且僅處理圖像中的檢測區域來確定對象的身份。

技術領域

本公開一般涉及對象檢測系統，更具體地涉及使用來自雷達傳感器?的信息來在來自相機的圖像內定義檢測區域，該檢測區域被處理以確定對象的?身份。

背景技術

當前的高級駕駛員輔助系統(ADAS)和自動駕駛系統使用多個諸如?相機、雷達和激光雷達(LiDAR)的傳感器來檢測車輛附近的對象。傳感器使?用諸如強度、距離、顏色等特征來檢測對象。描述到場景中的點的距離的距離值對于對象檢測的成功和可靠性是至關重要的。可以將距離值組合來生成2-D?距離圖(range-map)，所述距離圖示出從特定點到場景中的點的距離。距離圖?通常與諸如相機或激光雷達的傳感器裝置相關聯。如果傳感器被可能地校準，?則可以直接以英尺或米給出距離值。

單個相機可以用于使用來自運動的結構來創建生成距離信息。這通?常導致稀疏距離估計，其可能不準確，特別是對于動態對象。還可以使用立體?相機或多相機設置系統，但是由于在硬件方面因其使用多個相機并且需要可能?的校準，并且在軟件方面由于立體聲距離估計是昂貴且容易出錯的過程，所以?在硬件和軟件兩方面中都增加了系統的成本。激光雷達是用于距離估計的最廣泛使用的傳感器，但是目前對于大多數應用來說是昂貴的，并且其可以測量的?距離有限。

發明內容

本文描述的各種實施例包括使用雷達或激光雷達信息來改善視覺算?法的方法和系統，其中檢測、距離信息、以及距離變化率被用于視覺算法的輸?入。

根據一個實施例，提供了一種對象檢測系統，其配置為檢測接近車?輛的對象。該系統包括雷達傳感器、相機以及控制器。雷達傳感器適合安裝在?車輛上并且用于檢測由雷達視場中的對象所反射的雷達信號。所述雷達信號指?示所述對象相對于所述車輛的距離、距離變化率和方向。相機用于捕獲與雷達?視場重疊的相機視場的圖像。控制器與雷達傳感器和相機通信。所述控制器配?置為基于所述RDU距離和方向確定用于所述圖像的距離圖，基于所述距離圖?在所述圖像中界定檢測區域，并且僅處理所述圖像中的所述檢測區域來確定所述對象的身份。

在本發明的一個示例性實施例中，從RDU距離信息確定距離圖。該?距離圖可以被視覺算法使用來決定使用的搜索尺度、確定接觸時間(TTC)、?用于將視覺檢測區域適當地放置于地面等。

在本發明的替代實施例中，圖像中對象的速度從RDU距離變化率信?息來確定。這通過限制下一幀中的搜索空間來幫助視覺跟蹤。其也可以用于改?善視覺算法的分類結果。例如，高速對象不會被歸類為行人。

在本發明的又一實施例中，從所述距離圖生成占用網格和間隔圖。?視覺系統一般不能提供良好的距離圖的估計，因此使用RDU距離可以幫助生?成準確的占用網格或間隔圖。除了生成靜態占用和間隔圖之外，RDU距離變化?率可用于提供動態信息。

在閱讀優選實施例的下列詳細描述后，進一步的特征和優勢將更清?楚地呈現，該優選實施例僅作為非限制性的示例且參照附圖而給出。

附圖說明

現在將參考附圖借助示例來描述本發明，在附圖中：

圖1描繪了用于將雷達和視覺傳感器組合的系統的框圖；

圖2描繪了圖1的系統的對象檢測流程圖；

圖3描繪了由圖1的系統基于雷達檢測來構建感興趣區域的示例；

圖4A和4B描繪了由圖1的系統進行的多尺度對象檢測的兩個示例；