[發(fā)明專利]通過使用神經(jīng)網(wǎng)絡圖像處理的、作為3D限界框的直接載具檢測

在審

• 申請?zhí)枺?/td>: 201880036861.1
• 申請日: 2018-03-29
• 公開（公告）號: CN110678872A
• 公開（公告）日: 2020-01-10
• 發(fā)明（設計）人: K.貝倫特
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/20;G06K9/32
• 代理公司: 72001 中國專利代理(香港)有限公司
• 代理人: 陳曉;陳嵐

通過使用神經(jīng)網(wǎng)絡處理來檢測和追蹤成像系統(tǒng)的視場中的一個或多個載具的系統(tǒng)和方法。電子控制器從在主載具上所裝配的相機接收輸入圖像。所述電子控制器應用神經(jīng)網(wǎng)絡，所述神經(jīng)網(wǎng)絡被配置成至少部分地基于輸入圖像來輸出三維限界框的限定。所述三維限界框指示在輸入圖像的視場中的所檢測到的載具的尺寸和定位。所述三維限界框包括第一四邊形形狀和第二四邊形形狀，所述第一四邊形形狀描畫所檢測到的載具的后面或前面，所述第二四邊形形狀描畫所檢測到的載具的側(cè)面。

相關申請

本申請要求2017年4月4日提交的、題為“DIRECT VEHICLE DETECTION AS 3D BOUNDINGBOXES USING NEURAL NETWORK IMAGE PROCESSING”、申請?zhí)枮?2/481,346的美國臨時申請的優(yōu)先權，所述申請的全部內(nèi)容通過引用被并入本文中。

背景技術

本發(fā)明涉及對其它載具的存在的檢測。載具檢測對于各種系統(tǒng)、包括例如全自動化或部分自動化的駕駛系統(tǒng)而言是有用的。

發(fā)明內(nèi)容

在一個實施例中，本發(fā)明提供用于通過使用卷積神經(jīng)網(wǎng)絡來檢測和追蹤載具的系統(tǒng)和方法。捕獲與主載具鄰近的區(qū)域的圖像。電子處理器應用卷積神經(jīng)網(wǎng)絡來處理作為給卷積神經(jīng)網(wǎng)絡的輸入的所捕獲的圖像，并且直接輸出三維邊界框（或“限界框”），其指示在所捕獲的圖像中所有所檢測到的載具的位置。在一些實施例中，卷積神經(jīng)網(wǎng)絡的輸出將三維邊界框限定為第一四邊形和第二四邊形，所述第一四邊形指示所檢測到的載具的后面或前面，所述第二四邊形指示所檢測到的載具的側(cè)面。在一些實施例中，卷積神經(jīng)網(wǎng)絡的輸出將所述第一四邊形和第二四邊形限定為六個點的集合。此外，在一些實施例中，所述系統(tǒng)被配置成顯示由相機所捕獲的圖像與被疊覆到所檢測到的載具上的三維邊界框。然而，在其它實施例中，所述系統(tǒng)被配置成利用與如通過三維限界框所指示的所檢測到的載具的尺寸、定位、定向等等相關的信息，而不在屏幕上向載具的操作者顯示限界框。

在另一實施例中，本發(fā)明提供一種用于檢測和追蹤在主載具附近的載具的方法。電子控制器從在主載具上所裝配的相機接收輸入圖像。所述電子控制器應用神經(jīng)網(wǎng)絡，所述神經(jīng)網(wǎng)絡被配置成至少部分地基于輸入圖像來輸出三維限界框的限定。所述三維限界框指示在輸入圖像的視場中的所檢測到的載具的尺寸和定位。所述三維限界框包括第一四邊形形狀和第二四邊形形狀，所述第一四邊形形狀描畫所檢測到的載具的后面或前面，所述第二四邊形形狀描畫所檢測到的載具的側(cè)面。

在又一實施例中，本發(fā)明提供一種載具檢測系統(tǒng)。所述系統(tǒng)包括：被定位在主載具上的相機、顯示屏、被配置成控制主載具的移動的載具系統(tǒng)、電子處理器、和存儲器。存儲器存儲指令，所述指令當被處理器執(zhí)行的時候提供載具檢測系統(tǒng)的某個功能性。具體地，所述指令使得所述系統(tǒng)從相機接收輸入圖像，所述輸入圖像具有視場，所述視場包括主載具在其上運作的道路表面，并且神經(jīng)網(wǎng)絡被應用到所述輸入圖像。所述神經(jīng)網(wǎng)絡被配置成提供輸出，所述輸出限定多個三維限界框，所述三維限界框各自對應于在輸入圖像的視場中所檢測到的多個載具中不同的一個載具。每個三維限界框由神經(jīng)網(wǎng)絡的輸出限定為經(jīng)結構化的點的集合，其限定第一四邊形形狀和第二四邊形形狀，所述第一四邊形形狀被定位成圍繞所檢測到的載具的后面或前面，所述第二四邊形形狀被定位成圍繞所檢測到的載具的側(cè)面。所述第一四邊形形狀與所述第二四邊形形狀相鄰使得所述第一四邊形形狀和第二四邊形形狀共享一邊緣。所述系統(tǒng)此外被配置成在顯示屏上顯示輸出圖像。所顯示的輸出圖像包括輸入圖像的至少一部分以及被疊覆到輸入圖像上的所述多個三維限界框中的每一個。所述系統(tǒng)還被配置成操作載具系統(tǒng)以至少部分地基于所述多個三維限界框來自動地控制主載具相對于所述多個載具的移動。

通過考慮詳細描述和附圖，本發(fā)明的其它方面將變得顯而易見。

附圖說明

圖1是由被裝配到主載具的相機所捕獲的道路場景的圖像的截屏。

圖2是圖1的圖像的截屏，其中在道路上運作的載具被檢測到，并且在顯示屏上通過使用二維邊界框來被指示。