[發明專利]車輛神經網絡

在審

• 申請號: 202010886841.2
• 申請日: 2020-08-28
• 公開（公告）號: CN112440970A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 弗朗索瓦·沙雷特;何塞·恩里克·所羅門
• 申請（專利權）人: 福特全球技術公司
• 主分類號: B60W10/06
• 分類號: B60W10/06;B60W10/08;B60W10/18;B60W10/20;B60W50/00;B60W50/14;G06N3/04;G06N3/08
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 楊帆;宋薇薇

本公開提供“車輛神經網絡”。一種計算機，其包括處理器和存儲器，所述存儲器包括指令，所述指令由所述處理器執行以：生成道路環境的第一彩色圖像；確定所述第一彩色圖像的紅色通道、綠色通道和藍色通道中的一者或多者的一個或多個值分解；通過用非線性方程修改所述奇異值分解中的相應奇異值分解來獲得一個或多個修改后的奇異值分解；以及基于所述修改后的一個或多個奇異值分解來重建第二彩色圖像。所述指令可包括其他指令，以用于基于所述第二彩色圖像來訓練深度神經網絡并且基于所述深度神經網絡來操作車輛。

技術領域

本公開總體上涉及車輛網絡。

背景技術

車輛可配備有計算裝置、網絡、傳感器和控制器以獲取關于車輛的環境的數據并且基于所述數據來操作車輛。車輛傳感器可提供有關在車輛的環境中要行進的路線和要避開的對象的數據。車輛的操作可依賴于在車輛正在道路上進行操作時獲取關于車輛的環境中的對象的準確且及時的數據。

發明內容

車輛可被配備為以自主模式和乘員駕駛模式兩者操作。半自主或完全自主模式意指其中車輛可由作為具有傳感器和控制器的系統的一部分的計算裝置部分地或完全地駕駛的操作模式。車輛可被占用或未被占用，但是在任何一種情況下，都可在沒有乘員輔助的情況下部分地或完全地駕駛車輛。出于本公開的目的，自主模式被限定為其中車輛推進(例如，經由包括內燃發動機和/或電動馬達的動力傳動系統)、制動和轉向中的每一者由一個或多個車輛計算機控制的模式；在半自主模式中，一個或多個車輛計算機控制車輛推進、制動和轉向中的一者或兩者。在非自主模式中，這些都不由計算機控制。

車輛中的計算裝置可被編程為獲取關于車輛外部環境的數據并使用所述數據來確定車輛路徑，在所述車輛路徑上以自主或半自主模式操作車輛。通過確定用于引導車輛的動力傳動系統、制動和轉向部件操作車輛以沿著路徑行進的命令，車輛可基于車輛路徑而在道路上操作。關于外部環境的數據可包括車輛周圍的環境中的一個或多個移動對象(諸如，車輛和行人等)的位置，并且可由車輛中的計算裝置用來操作車輛。

可通過使用大量(通常1000個)樣本視頻圖像訓練深度神經網絡(DNN)來訓練DNN以操作車輛，所述樣本視頻圖像包括車輛在道路上操作時可能遇到的交通場景。樣本視頻圖像與在道路上操作時車輛傳感器所獲取的真實視頻圖像之間的相似性越多，DNN就越可能向車輛提供有用的數據。為了提供對應于車輛在道路上可能遇到的多種照明和天氣條件的大量樣本視頻圖像，可通過在道路上操作時從車輛傳感器獲取圖像來生成彩色視頻圖像，并且可通過合成圖像渲染軟件生成逼真合成圖像。可使用奇異值分解處理來處理彩色視頻圖像和逼真合成圖像兩者，以將圖像修改為看起來就像它們是在不同的照明條件下獲取的一樣，從而模擬比原始彩色視頻圖像和逼真合成圖像更廣泛的真實世界照明和天氣條件。

本文公開了一種方法，所述方法包括：生成道路環境的第一彩色圖像；確定所述第一彩色圖像的紅色通道、綠色通道和藍色通道中的一者或多者的一個或多個奇異值分解；以及通過用非線性方程修改所述奇異值分解中的相應奇異值分解來獲得修改后的奇異值分解中的一個或多個。可基于所述修改后的一個或多個奇異值分解來重建第二彩色圖像，可基于所述第二彩色圖像來訓練深度神經網絡，并且可基于所述深度神經網絡來操作車輛。可通過以下一項或多項來生成所述第一彩色圖像：獲取車輛傳感器數據以及生成合成圖像數據。所述第二彩色圖像可對應于具有修改后的照明條件的所述第一彩色圖像，所述修改后的照明條件對應于較暗的照明條件，包括陰天照明、晚上或夜晚。可利用矩陣方程X＝UΣV^T確定一個或多個奇異值分解，其中X為包括第一彩色圖像的紅色通道、綠色通道或藍色通道中的一者的陣列，U和V為陣列X的左特征向量和右特征向量，并且Σ為奇異值的對角矩陣。