[發(fā)明專利]一種用于自動駕駛的用于訓練神經(jīng)網(wǎng)絡對象檢測模型的用于確定錨框的方法

在審

• 申請?zhí)枺?/td>: 202010537509.5
• 申請日: 2020-06-12
• 公開（公告）號: CN112149487A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設計）人: 蔡家偉;崔泰恩;郭玉亮;陳光;張偉德
• 申請（專利權）人: 百度(美國)有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產(chǎn)權代理事務所(普通合伙) 11201
• 代理人: 閆明霞

涉及一種用于自動駕駛的用于確定訓練神經(jīng)網(wǎng)絡對象檢測模型用錨框的方法。在一個實施例中，基于一組邊界框候選項的各自的維度(例如，寬度和高度)，將一組邊界框候選項繪制到2D空間上。基于邊界框候選項在2D空間上的分布密度，對邊界框候選項進行聚類。對于邊界框候選項的聚類中的每一個，確定錨框表示對應的聚類。基于表示聚類的錨框，訓練神經(jīng)網(wǎng)絡模型。所述神經(jīng)網(wǎng)絡模型被用于基于由自動駕駛車輛的傳感器(例如，相機、LIDAR和/或RADAR)捕獲的圖像和/或點云檢測或識別對象。

技術領域

本公開的實施例一般涉及操作自動車輛。更具體地，本公開的實施例涉及訓練用于自動駕駛的神經(jīng)網(wǎng)絡對象檢測模型。

背景技術

以自動模式(例如，無人駕駛)操作的車輛可以免除乘坐者，尤其是駕駛員的一些駕駛相關責任。當在自動模式下操作時，車輛可以使用車載傳感器導航到各種位置，從而允許車輛以最小的人機交互或者在一些沒有任何乘客的情況下行駛。

運動規(guī)劃和控制是自動駕駛中的關鍵操作。在自動駕駛中，重要的是檢測自動駕駛車輛(ADV)周圍的對象，以便為ADV規(guī)劃軌跡以導航通過該駕駛環(huán)境。最近，已經(jīng)使用人工智能(AI)進行對象檢測。使用深度神經(jīng)網(wǎng)絡的對象檢測模型通常利用錨框(Anchor Box)的概念，錨框被預定義為具有確定的大小和形狀。

神經(jīng)網(wǎng)絡通過回歸錨框上的變化估計對象邊界框(Bounding Box)，而不是直接估計對象邊界框的寬度和高度。結果，良好的錨框選擇等同于提供邊界框估計上的良好的先驗，并且因此神經(jīng)網(wǎng)絡更容易學習和產(chǎn)生更高的對象檢測性能。然而，缺乏識別和選擇用于神經(jīng)網(wǎng)絡對象檢測的適當或良好的錨框的有效方式。

發(fā)明內(nèi)容

為解決以上技術問題，本公開的一個方面提供了一種用于自動駕駛的用于確定訓練神經(jīng)網(wǎng)絡對象檢測模型用錨框的方法，所述方法包括：基于多個邊界框的各自的維度，在二維(2D)空間中繪制所述多個邊界框；基于所述多個邊界框在所述2D空間上的分布密度，將所述多個邊界框聚類為所述邊界框的一個或多個聚類；對于所述邊界框的所述聚類中的每一個，確定錨框以表示對應的聚類；以及使用所述錨框訓練用于檢測對象的神經(jīng)網(wǎng)絡模型，其中所述神經(jīng)網(wǎng)絡模型被用于基于由自動駕駛車輛的傳感器捕獲的圖像或點云中的至少一個來檢測對象。

此外，本公開的另一個方面提供了一種用于自動駕駛的用于確定訓練神經(jīng)網(wǎng)絡對象檢測模型用錨框的裝置，所述裝置包括：繪制裝置，被配置為基于多個邊界框的各自的維度，在二維(2D)空間中繪制所述多個邊界框；聚類裝置，被配置為基于所述多個邊界框在所述2D空間上的分布密度，將所述多個邊界框聚類為所述邊界框的一個或多個聚類；錨框確定裝置，被配置為對于所述邊界框的所述聚類中的每一個，確定錨框以表示對應的聚類；以及訓練裝置，被配置為使用所述錨框訓練用于檢測對象的神經(jīng)網(wǎng)絡模型，其中所述神經(jīng)網(wǎng)絡模型被用于基于由自動駕駛車輛的傳感器捕獲的圖像或點云中的至少一個來檢測對象。

此外，本公開的另一個方面提供了一種非暫時性機器可讀介質(zhì)，其中存儲有指令，當由處理器執(zhí)行時，所述指令使得所述處理器執(zhí)行上文所述的用于自動駕駛的用于確定訓練神經(jīng)網(wǎng)絡對象檢測模型用錨框的方法。

此外，本公開的另一個方面提供了一種數(shù)據(jù)處理系統(tǒng)，包括：處理器；以及連接到所述處理器用于存儲指令的存儲器，當由所述處理器執(zhí)行時，所述指令使得所述處理器執(zhí)行上文所述的用于自動駕駛的用于確定訓練神經(jīng)網(wǎng)絡對象檢測模型用錨框的方法。

附圖說明

本公開的實施例通過示例的方式示出并且不限于附圖中的圖，在附圖中相同的附圖標記表示相似的元件。

圖1是示出根據(jù)一個實施例的神經(jīng)網(wǎng)絡訓練系統(tǒng)的框圖。

圖2A示出根據(jù)一個實施例的具有用于訓練神經(jīng)網(wǎng)絡的不同邊界框的圖像的示例。

圖2B示出表示根據(jù)一個實施例的神經(jīng)網(wǎng)絡的訓練過程的輸出的數(shù)據(jù)結構。