[發明專利]一種用于自由空間估計、物體檢測和物體姿態估計的統一深度卷積神經網絡

在審

• 申請號: 201810705661.2
• 申請日: 2018-07-02
• 公開（公告）號: CN109214264A
• 公開（公告）日: 2019-01-15
• 發明（設計）人: D·李維;N·加尼特;E·費塔亞;S·奧龍
• 申請（專利權）人: 通用汽車環球科技運作有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/66;G06N3/04
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 代易寧;鄧雪萌

1.一種在車輛中用于使用深度學習算法在同一網絡中同時執行多個車載感測任務的處理器實現的方法，所述方法包含：

接收來自所述車輛上的傳感器的視覺傳感器數據；

使用卷積神經網絡中的多個特征層根據所述視覺傳感器數據確定特征組；并且

使用所述卷積神經網絡根據由所述多個特征層確定的所述特征組同時估計檢測到的物體的邊界框、自由空間邊界和檢測到的物體的物體姿態。

2.根據權利要求1所述的方法，其中所述神經網絡包含：

多個自由空間估計層，其配置為評估所述特征組以確定所述視覺傳感器數據中相對于所述車輛的所述自由空間的邊界并且標記所述邊界；

多個物體檢測層，其配置為評估所述特征組以檢測圖像中的物體并估計圍繞所述檢測到的物體的邊界框；以及

多個物體姿態檢測層，其配置為評估所述特征組以估計每個物體的方向。

3.根據權利要求2所述的方法，其中：

所述神經網絡可以進一步包含配置為確定作為所述多個自由空間估計層、所述多個物體檢測層和所述多個物體姿態檢測層的輸入進行共享的所述特征組的多個特征層；并且

使用InceptionNet架構來配置所述特征層。

4.根據權利要求2所述的方法，其中使用StixelNet架構來配置所述自由空間估計層。

5.根據權利要求2所述的方法，其中使用單次多重檢測器(SSD)架構來配置所述物體檢測層。

6.根據權利要求2所述的方法，進一步包含使用循環分段線性(PL)損失函數來訓練所述物體姿態檢測層，并且其中使用循環PL損失函數來訓練所述物體姿態檢測層包含：

將0到360度之間的不同值分配給多個bin中的每一個；

利用加權因數向具有更接近估計的姿態值的分配的中心值的所述多個bin中的兩個bin分配估計的姿態，其中所述加權因數與所述估計的姿態值和所述bin中心值的距離成反比；并且

如果所述估計的姿態值高于分配給最高值bin的值，或者如果所述估計的姿態值低于分配給最低值bin的值，則將估計的姿態分配給所述最高值bin和所述最低值bin這兩者。

7.一種用于訓練卷積神經網絡來使用深度學習算法在同一網絡中同時執行至少三個不同圖像感測任務的處理器實現的方法，所述卷積神經網絡至少包含任務層的第一組、第二組和第三組以及特征層的常用組，通常由所述任務層的第一、第二和第三組中的每一個使用特征層的常用組的輸出，將所述任務層的第一、第二和第三組中的每一個訓練為分別執行三個不同圖像感測任務中的不同的一個，所述方法包含：

訓練所述任務層的第一組和所述特征層的組以確定使所述任務層的第一組的損失函數最小化的所述任務層的第一組中的和所述特征層中的系數；

訓練所述任務層的第二組，同時保持所述特征層中的系數固定為它們最后確定的值，以確定使所述任務層的第二組的損失函數最小化的所述任務層的第二組中的系數；

訓練所述任務層的第三組，同時保持所述特征層中的系數固定為它們最后確定的值，以確定使所述任務層的第三組的損失函數最小化的所述任務層的第三組中的系數；并且

使用這些層中的每一個的最后確定的系數作為重新訓練的起點，共同重新訓練所述任務層的第一、第二和第三組以及所述特征層，以確定使所述任務層的第一、第二和第三組的每一個的損失函數最小化的所述任務層的第一、第二和第三組的每一個中的以及所述特征層中的系數。

8.根據權利要求7所述的方法，其中所述任務層的第一組可以是可用訓練數據的數量最大的任務層的組，或者是可用訓練數據具有最好的質量的任務層的組；并且其中所述任務層的第二組可以是可用訓練數據的數量第二大的任務層的組，或者是可用訓練數據具有次好的質量的任務層的組。