[發明專利]車輛圖像生成

在審

• 申請號: 202010621324.2
• 申請日: 2020-07-01
• 公開（公告）號: CN112184844A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 尼基塔·齋普里亞;古薩姆·肖林格;維迪亞·納里亞曼特穆拉里;羅漢·巴辛;阿希爾·帕林謝里
• 申請（專利權）人: 福特全球技術公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04;G06N3/08
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 陳黎明;李紅蕭

本公開提供“車輛圖像生成”。一種計算機，所述計算機包括處理器和存儲器，所述存儲器包括指令，所述指令將由所述處理器執行以：生成合成圖像和對應的地面實況，并通過利用變分自動編碼器?生成式對抗網絡(VAE?GAN)處理所述合成圖像來生成多個域適應合成圖像，其中訓練所述VAE?GAN以使所述合成圖像從第一域適應到第二域。所述指令還可以包括用于基于所述域適應合成圖像和所述對應的地面實況訓練深度神經網絡(DNN)并利用經訓練的深度神經網絡處理圖像以確定對象的指令。

技術領域

本公開涉及車輛傳感器領域，并且更具體地涉及車輛傳感器圖像生成。

背景技術

車輛可以配備有計算裝置、網絡、傳感器和控制器以獲取關于車輛的環境的信息并基于該信息來操作車輛。車輛傳感器可以提供關于在車輛的環境中要行駛的路線和要避開的對象的數據。車輛的操作可以依賴于在車輛正在道路上進行操作時獲取關于在車輛的環境中的對象的準確且及時的信息。

發明內容

車輛可以被配備為以自主模式和乘員駕駛模式兩者操作。半自主或完全自主模式意指其中車輛可以由作為具有傳感器和控制器的信息系統的一部分的計算裝置部分地或完全地駕駛的操作模式。車輛可以被占用或未被占用，但是在任一情況下，都可以在沒有乘員輔助的情況下部分地或完全地駕駛車輛。出于本公開的目的，自主模式被定義為其中車輛推進(例如，經由包括內燃發動機和/或電動馬達的動力傳動系統)、制動和轉向中的每一者由一個或多個車輛計算機控制的模式；在半自主模式中，車輛計算機控制車輛推進、制動和轉向中的一者或兩者。在非自主車輛中，這些都不由計算機控制。

車輛中的計算裝置可以被編程為獲取關于車輛外部環境的數據并使用所述數據來確定車輛路徑，在所述車輛路徑上以自主或半自主模式操作車輛。基于車輛路徑通過確定命令以引導車輛的動力傳動系統、制動和轉向部件操作車輛以沿著所述路徑行駛，車輛可以在道路上操作。關于外部環境的數據可以包括車輛周圍環境中的一個或多個移動對象(諸如，車輛和行人等)的位置，并且可以由車輛中的計算裝置用來操作車輛。

基于移動對象數據來操作車輛可以包括確定避開移動對象的車輛路徑。預測包括移動對象的未來位置的移動對象的路徑可以允許計算裝置確定避開移動對象的車輛路徑。計算裝置可以通過訓練車輛中包括的深度神經網絡(DNN)來預測移動對象的未來位置，從而操作車輛。計算裝置可以基于所預測的未來位置來確定避開移動對象的車輛路徑，在所述車輛路徑上操作車輛。本文討論的技術可以通過創建通過將域數據加到合成圖像而生成的大量(1,000個)的訓練圖像來改進對DNN的訓練。將域數據加到合成圖像可以包括將合成圖像修改為模擬不同環境條件或噪聲因素(諸如包括雨或雪在內的降水、包括霧或夜晚在內的大氣/照明條件以及包括冬天和春天在內的季節條件)的效應。使用以逼真的方式包括每個域的許多不同示例的大訓練圖像數據集可以使DNN更穩健，其中穩健意指DNN有可能正確地識別和定位先前看不見的真實世界輸入圖像中的對象。

本文公開了一種方法，該方法包括：生成合成圖像和對應的地面實況；通過利用變分自動編碼器-生成式對抗網絡(VAE-GAN)處理所述合成圖像來生成多個域適應合成圖像，其中訓練所述VAE-GAN以使所述合成圖像從第一域適應到第二域；基于所述域適應合成圖像和所述對應的地面實況訓練深度神經網絡(DNN)；以及利用經訓練的深度神經網絡處理圖像以確定對象。通過修改所述合成圖像以改變所述合成圖像中的天氣和照明條件，可以使所述合成圖像從第一域適應到第二域。可以基于無監督學習來訓練所述VAE-GAN。所述VAE-GAN可以包括編碼器神經網絡、生成器神經網絡和鑒別器神經網絡，其中所述編碼器神經網絡生成隱變量，所述生成器神經網絡基于隱變量生成修改后的合成圖像，并且所述鑒別器確定所述修改后的合成圖像是否類似于真實圖像。