[發明專利]使用深度視頻幀預測來訓練自主車輛的控制器

在審

• 申請號: 201811550972.2
• 申請日: 2018-12-18
• 公開（公告）號: CN109941293A
• 公開（公告）日: 2019-06-28
• 發明（設計）人: 安德魯·瓦根馬克爾
• 申請（專利權）人: 福特全球技術公司
• 主分類號: B60W50/00
• 分類號: B60W50/00;G06N3/04
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 回旋

本公開提供了“使用深度視頻幀預測來訓練自主車輛的控制器”。圖像預測器被訓練為基于由車輛攝像機捕獲的N個先前圖像以及車輛控制來產生預測圖像。鑒別器被訓練為區分圖像流中的P個先前圖像之后的圖像與并非后續圖像的圖像。控制發生器基于一組N個圖像生成估計控制，并且所述估計控制和一組N個圖像被輸入到所述圖像預測器。將預測圖像和所述一組N個圖像輸入到所述圖像預測器，所述圖像預測器輸出指示所述預測圖像是否準確的值。基于此值的損失函數和所述車輛控制與所述一組N個圖像的估計控制之間的差被用作用于訓練所述控制發生器的反饋。

技術領域

本發明涉及用于自主車輛的控制算法。

背景技術

近期在深度學習方面取得的成功已促使將深度學習應用于與自主駕駛相關的多種基于視覺的問題。特別地，若干近期工作已經開發出用于自動車輛的端對端駕駛的基于深度學習的框架。例如，給定行車記錄儀圖像，先前方法產生轉向命令和速度命令來驅動汽車。

本文所公開的系統和方法提供了用于訓練用于自主車輛的基于圖像的控制算法的改進方法。

發明內容

在本發明的一個方面，一種方法包括使用計算裝置來執行方法，所述方法包括：將多組圖像以及每組圖像的對應控制輸入輸入到圖像預測器；將所述多組圖像和每組圖像的來自所述圖像預測器的預測圖像輸入到鑒別器中；以及根據每個組的來自所述鑒別器的輸出進一步訓練控制發生器。

在一些實施例中，所述一組圖像是來自安裝到車輛的攝像機的輸出的一組連續圖像。

在一些實施例中，每個組的來自所述鑒別器的所述輸出是兩個值中的一個，所述兩個值中的第一個指示積極結果，而所述兩個值中的第二個指示消極結果。

在一些實施例中，每組圖像的所述對應控制輸入是轉向角。在一些實施例中，每組圖像的所述對應控制輸入是轉向角、加速度輸入和制動輸入中的至少一者。

在一些實施例中，所述圖像預測器、所述鑒別器和所述控制發生器均是深度神經網絡模型。在一些實施例中，所述圖像預測器、所述鑒別器和所述控制發生器均是卷積神經網絡模型。

在本發明的另一方面，一種系統包括一個或多個處理裝置以及可操作地耦接到所述一個或多個處理裝置的一個或多個存儲器裝置，所述一個或多個存儲器裝置存儲可執行代碼，所述可執行代碼有效地致使所述一個或多個處理裝置：將多組圖像以及每組圖像的對應控制輸入輸入到圖像預測器；將所述多組圖像和每組圖像的來自所述圖像預測器的預測圖像輸入到鑒別器中；并且根據所述多組圖像、每個組的所述對應控制輸入以及每個組的來自所述鑒別器的輸出進一步訓練控制發生器。

在一些實施例中，所述一組圖像是來自安裝到車輛的攝像機的輸出的一組連續圖像。

在一些實施例中，每個組的來自所述鑒別器的所述輸出是兩個值中的一個，所述兩個值中的第一個指示積極結果，而所述兩個值中的第二個指示消極結果。

在一些實施例中，每組圖像的所述對應控制輸入是轉向角。在一些實施例中，每組圖像的所述對應控制輸入是轉向角、加速度輸入和制動輸入中的至少一者。

在一些實施例中，所述圖像預測器、所述鑒別器和所述控制發生器均是深度神經網絡模型。在一些實施例中，所述圖像預測器、所述鑒別器和所述控制發生器均是卷積神經網絡模型。