[發(fā)明專利]使用相鄰車輛的姿態(tài)觀察進行路面表征

在審

• 申請?zhí)枺?/td>: 201911135089.1
• 申請日: 2019-11-19
• 公開（公告）號: CN111209790A
• 公開（公告）日: 2020-05-29
• 發(fā)明（設計）人: 古薩姆·肖林格;金尼什·J·簡;金塔拉斯·文森特·普斯科里奧斯;勒達·戴勒
• 申請（專利權(quán)）人: 福特全球技術公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N20/00
• 代理公司: 北京連和連知識產(chǎn)權(quán)代理有限公司 11278
• 代理人: 楊帆

本公開提供“使用相鄰車輛的姿態(tài)觀察進行路面表征”。一種計算系統(tǒng)可以基于圖像中的第一車輛的寬度、高度和位置而裁剪所述圖像。所述計算系統(tǒng)可以基于將所述裁剪的圖像以及所述第一車輛的所述寬度、所述高度和所述位置輸入深度神經(jīng)網(wǎng)絡中而估計所述第一車輛的姿態(tài)。然后，所述計算系統(tǒng)可以基于所述估計的姿態(tài)而操作第二車輛。所述計算系統(tǒng)可以根據(jù)所述估計的姿態(tài)訓練模型以識別危險的類型和位置，所述危險是冰、泥、坑洼或其他危險之類的東西。所述模型可以由自主車輛用于識別和躲避危險或提供駕駛輔助警報。

技術領域

本發(fā)明涉及用于自主駕駛或提供駕駛員輔助的障礙物識別。

背景技術

車輛可被配備為在自主模式和乘員導引模式兩者下操作。車輛可以被配備有計算裝置、網(wǎng)絡、傳感器和控制器以獲取關于車輛環(huán)境的信息并基于該信息來操作車輛。車輛的安全且舒適操作可以取決于獲取關于車輛環(huán)境的準確且及時的信息。車輛傳感器可以提供關于在車輛環(huán)境中要行進的路線和要避開的對象的數(shù)據(jù)。車輛的安全且有效的操作可以取決于當車輛在道路上操作時獲取關于在車輛環(huán)境中的路線和對象的準確且及時的信息。存在用于識別造成碰撞風險的對象的現(xiàn)有機制和/或在規(guī)劃車輛沿路線的路徑時應考慮到這些機制。然而，還有改善對象識別和評估技術的空間。

發(fā)明內(nèi)容

本文公開的是一種方法，該方法包括：基于圖像中的第一車輛的寬度、高度和中心而裁剪圖像以確定圖像塊；基于將圖像塊以及第一車輛的寬度、高度和中心輸入深度神經(jīng)網(wǎng)絡中而估計第一車輛的3D姿態(tài)；以及基于估計的3D姿態(tài)而操作第二車輛。估計的3D姿態(tài)可以包括第一車輛相對于3D坐標系的估計的3D位置、估計的側(cè)傾、估計的俯仰和估計的橫擺。可以基于依據(jù)分割所述圖像來確定圖像中的對象來確定第一車輛圖像塊的寬度、高度和中心。可以基于確定分割的圖像中的矩形邊界框而確定第一車輛的寬度、高度和中心。可以基于裁剪來自矩形邊界框的圖像數(shù)據(jù)并調(diào)整圖像數(shù)據(jù)的大小以適合以經(jīng)驗確定的高度和寬度而確定圖像塊。深度神經(jīng)網(wǎng)絡可以包括：多個卷積神經(jīng)網(wǎng)絡層，所述多個卷積神經(jīng)網(wǎng)絡層用于處理裁剪的圖像；第一多個完全連接的神經(jīng)網(wǎng)絡層，所述第一多個完全連接的神經(jīng)網(wǎng)絡層用于處理第一車輛的高度、寬度和位置；以及第二多個完全連接的神經(jīng)網(wǎng)絡層，所述第二多個完全連接的神經(jīng)網(wǎng)絡層用于組合來自卷積神經(jīng)網(wǎng)絡層和第一完全連接的神經(jīng)網(wǎng)絡層的輸出，以確定估計的姿態(tài)。

可以基于將第一車輛圖像塊的寬度、高度和中心輸入深度神經(jīng)網(wǎng)絡中以確定估計的側(cè)傾、估計的俯仰和估計的橫擺而確定第一車輛的估計的3D姿態(tài)。可以確定第一車輛的估計的3D姿態(tài)，其中深度神經(jīng)網(wǎng)絡包括第三多個完全連接的神經(jīng)網(wǎng)絡層，所述第三多個完全連接的神經(jīng)網(wǎng)絡層用于處理第一車輛圖像塊的高度、寬度和中心，以確定3D位置。可以基于模擬圖像數(shù)據(jù)而訓練深度神經(jīng)網(wǎng)絡以基于圖像塊、第一車輛的寬度、高度和中心、以及關于第一車輛的3D姿態(tài)的地面實況而估計3D姿態(tài)。關于第一車輛的3D姿態(tài)的地面實況可以包括相對于3D坐標系的3D位置、側(cè)傾、俯仰和橫擺。可以基于記錄的圖像數(shù)據(jù)和獲取的地面實況而訓練深度神經(jīng)網(wǎng)絡以基于圖像塊、第一車輛的寬度、高度和中心、以及關于第一車輛的3D姿態(tài)的地面實況而估計3D姿態(tài)。記錄的圖像數(shù)據(jù)可以從包括在第二車輛中的視頻傳感器記錄。可以基于攝影測量而確定對應于記錄的圖像數(shù)據(jù)的地面實況。攝影測量可以是基于依據(jù)車輛品牌和型號而確定車輛的尺寸。在其他實施例中，激光雷達、雷達或其他傳感器數(shù)據(jù)可被捕獲并用于確定車輛的實際姿態(tài)以用作地面實況。在其他實施例中，來自觀察所述車輛的相鄰車輛的傳感器數(shù)據(jù)(攝影、激光雷達、雷達等)可以用于表示車輛的地面實況。