[發明專利]一種用于自由空間估計、物體檢測和物體姿態估計的統一深度卷積神經網絡

在審

• 申請號: 201810705661.2
• 申請日: 2018-07-02
• 公開（公告）號: CN109214264A
• 公開（公告）日: 2019-01-15
• 發明（設計）人: D·李維;N·加尼特;E·費塔亞;S·奧龍
• 申請（專利權）人: 通用汽車環球科技運作有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/66;G06N3/04
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 代易寧;鄧雪萌

提供了一種在車輛中用于使用深度學習算法在同一網絡中同時執行多個車載感測任務的方法。該方法包括接收來自車輛上的傳感器的視覺傳感器數據，使用卷積神經網絡中的多個特征層根據視覺傳感器數據確定特征組，并且使用卷積神經網絡根據由多個特征層確定的特征組同時估計檢測到的物體的邊界框、自由空間邊界以及檢測到的物體的物體姿態。神經網絡可以包括配置為確定視覺傳感器數據中的自由空間的邊界的多個自由空間估計層，配置為檢測圖像中的物體并估計圍繞檢測到的物體的邊界框的多個物體檢測層，以及配置為估計每個物體的方向的多個物體姿態檢測層。

技術領域

本公開一般涉及車輛視覺系統，并且更具體地涉及在車輛視覺系統中使用神經網絡。

背景技術

視覺系統可以使車輛能夠感知前方道路上的物體和障礙物。視覺系統可以使用神經網絡來執行物體檢測。神經網絡可能是計算密集的。神經網絡可對車輛的計算能力具有較高要求。

因此，希望能提供一種對車輛的計算能力具有較低要求的神經網絡架構。此外，根據隨后的本發明的具體實施方式和所附權利要求書，結合本發明的附圖和背景技術，本發明的其他期望的特征和特性將變得顯而易見。

發明內容

提供了一種車輛中的處理器實現的方法，用于使用深度學習算法在同一網絡中同時執行多個車載感測任務。該方法包括接收來自車輛上的傳感器的視覺傳感器數據，使用卷積神經網絡中的多個特征層根據視覺傳感器數據確定特征組，并且使用卷積神經網絡從由多個特征層確定的特征組中同時估計檢測到的物體的邊界框、自由空間邊界以及檢測到的物體的物體姿態。

神經網絡可以包括：多個自由空間估計層，其配置為評估特征組以確定視覺傳感器數據中相對于車輛的自由空間的邊界并且標記邊界；多個物體檢測層，其配置為評估特征組以檢測圖像中的物體并估計圍繞檢測到的物體的邊界框；以及多個物體姿態檢測層，其配置為評估特征組以估計每個物體的方向。

神經網絡可以進一步包括多個特征層，它們配置為確定作為多個自由空間估計層、多個物體檢測層和多個物體姿態檢測層的輸入進行共享的特征組。

可以使用InceptionNet架構來配置特征層。

可以使用StixelNet架構配置自由空間估計層。

可以使用單次多重檢測器(SSD)架構來配置物體檢測層。

由物體姿態檢測層估計的方向可以是量化值。

該方法可以進一步包括使用循環分段線性(PL)損失函數來訓練物體姿態檢測層。

使用循環PL損失函數訓練物體姿態檢測層可以包括將0到360度之間的不同值分配給多個bin中的每一個；利用加權因數向具有更接近估計的姿態值的分配的中心值的多個bin中的兩個bin分配估計的姿態，其中加權因數與估計的姿態值和bin中心值的距離成反比；并且如果估計的姿態值高于分配給最高值bin的值，或者如果估計的姿態值低于分配給最低值bin的值，則將估計的姿態分配給最高值bin和最低值bin這兩者。

該方法可以進一步包括使用估計的邊界框、自由空間邊界和物體姿態來估計供車輛使用的當前和未來世界狀態。