[發明專利]多目標跟蹤與多感官數據和缺失模態的學習關聯

在審

• 申請號: 202010528268.8
• 申請日: 2020-06-11
• 公開（公告）號: CN112069867A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: M.布魯夫斯坦;S.奧倫;B.E.什洛莫
• 申請（專利權）人: 通用汽車環球科技運作有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G01S13/66;G01S13/86;G01S17/66
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王增強

提供了用于檢測目標并將目標分配給感測值的方法和裝置。目標檢測裝置包括被編程以執行指令的第一分支和指令的第二分支的處理器。指令的每個分支包括經由各自的界面從一組傳感器中的至少一個傳感器接收模態，并基于該模態確定輸出值。目標檢測裝置包括關聯距離矩陣。指令的不同分支的模態定義了目標檢測裝置外部的目標的不同模態。目標檢測裝置累積輸出值，并且關聯距離矩陣將目標與累積的輸出值相關聯，從而檢測和跟蹤目標檢測裝置的外部的目標。

技術領域

該描述通常涉及檢測和追蹤目標檢測裝置的周圍環境中的目標。更具體地，該描述涉及用于檢測和跟蹤車輛(例如，自動駕駛車輛或包括至少部分地自動化或自動駕駛動作的部件的車輛)周圍環境中的目標的系統和方法。

背景技術

為了使車輛檢測其周圍環境并收集關于位于車輛周圍環境中的目標的信息，提供了若干傳感器系統以經由若干感測系統獲得信息。例如，提供攝像機以獲得諸如目標的外觀的光學信息。激光雷達系統可用于獲取信息，例如目標的尺度和外觀。雷達系統可用于獲得準確的測距和速度信息。來自攝像機、雷達和激光雷達系統的信息隨后可用于檢測和跟蹤目標以識別其移動路徑，無論是相對于環境的絕對移動路徑還是相對于主題車輛(subject vehicle)的相對移動路徑。

盡管用于檢測和跟蹤車輛周圍環境中的目標的現有系統可能適用于當前目的，但是，可能需要用于多傳感器融合和跟蹤的可解釋、安全且魯棒性的數據驅動目標。

發明內容

提供了尤其是用于自動駕駛車輛的用于目標檢測和跟蹤的裝置和方法。

在一個實施例中，該裝置是目標檢測裝置，并且包括處理器，該處理器被編程以執行指令的第一分支和指令的第二分支，以及關聯距離矩陣。指令的第一分支包括：經由第一界面從包括多個傳感器的一組傳感器中的至少一個傳感器接收第一模態；以及基于第一模態來確定第一輸出值。指令的第二分支包括經由第二界面從該組傳感器中的至少一個傳感器接收第二模態，以及基于第二模態確定第二輸出值。第一模態和第二模態定義了目標檢測裝置的外部的目標的不同模態。目標檢測裝置被構造為累積第一輸出值和第二輸出值。關聯距離矩陣被構造為將目標與累積的第一輸出值和第二輸出值關聯，從而檢測和跟蹤目標檢測裝置的外部的目標。

在各個實施例中，目標檢測裝置被構造為基于傳感器測量值確定第一模態和第二模態中的至少一個。

在各個實施例中，第一模態是以下之一：由二維或三維坐標表示的外觀、尺寸、形狀、地面上高度、相對或絕對位置，或目標檢測裝置的外部的目標的另一特征，并且第二模態是以下之一：由二維或三維坐標表示的外觀、尺寸、形狀、地面上高度、相對或絕對位置，或目標檢測裝置的外部的目標的另一特征，其中第二模態與第一模態不同。

在各個實施例中，第一界面和第二界面中的每個被構造為從光學攝像機、熱感攝像機、雷達傳感器、激光雷達傳感器和超聲傳感器中的至少一個接收輸入值。

在各個實施例中，目標檢測裝置被構造成從該組傳感器中的相同或不同傳感器接收第一模態和第二模態。

在各個實施例中，目標檢測裝置被構造為基于該組傳感器的傳感器的第一子集的傳感器測量值來確定第一模態，其中傳感器的第一子集包括該組傳感器的至少兩個傳感器。

在各個實施例中，目標檢測裝置被構造為基于該組傳感器中的傳感器的第二子集的傳感器測量值來確定第二模態，其中傳感器的第二子集中的至少一個傳感器與傳感器的第一子集的傳感器相同。

在各個實施例中，指令的第一分支和指令的第二分支中的每個包括在關聯距離矩陣將目標與累積的第一輸出值和第二輸出值相關聯之前，分別確定第一模態和第二模態的距離度量。

在各個實施例中，指令的第一分支和指令的第二分支中的每個包括：在關聯距離矩陣將目標與累積的第一輸出值和第二輸出值關聯之前，分別基于所確定的第一模態和第二模態的距離度量來確定歸一化(normalized)模態。