[發明專利]基于視覺時空特征的智能車預測控制方法

有效

• 申請號: 202010012552.X
• 申請日: 2020-01-07
• 公開（公告）號: CN111208818B
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 吳天昊;程洪;黃瑞;詹惠琴;周潤發
• 申請（專利權）人: 電子科技大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平;陳靚靚

本發明公開了一種基于視覺時空特征的智能車預測控制方法，首先構建方向盤轉角預測網絡，包括空間特征提取網絡、N個時空特征提取模塊、時空特征圖融合預測模塊，由空間特征提取網絡獲取不同尺度不同時間步的特征圖，由時空特征提取模塊分別從每種尺度的特征圖中提取出時空特征，再由時空特征圖融合預測模塊將不同尺度的時空特征融合一起進行方向盤轉角的預測，對方向盤轉角預測網絡進行訓練后，對待預測時刻進行預測，并將方向盤轉角的預測值與歷史預測值進行指數加權平均，得到方向盤轉角的最終預測值。本發明可以有效提取連續圖像幀中的時空信息，且將不同尺度的時空信息融合在一起，大幅提高了智能車預測控制精度。

技術領域

本發明屬于智能車控制技術領域，更為具體地講，涉及一種基于視覺時空特征的智能車預測控制方法。

背景技術

智能車端到端決策方法是指車輛在車道行駛時能夠自動的根據所面對的情況修正車輛的偏離。傳統的智能車端到端決策方法一般需要以下幾個步驟：由相機組成的傳感器模塊獲得前方道路的圖像，將圖像送至感知模塊中檢測圖像中的車道線，再根據車道線、車輛狀態、車輛位姿與車輛行駛方向之間的關系計算出當前時刻進行車道線保持所需的方向盤轉角度數。基于深度學習的智能車端到端決策方法則是將傳統方法中的幾個步驟整體理解為一個模型，這個模型能夠直接接受來自傳感器的圖像等信息用以計算當前時刻所需的方向盤轉角，正是由于深度網絡強大的擬合能力，使得基于深度學習算法能夠直接學習道路圖像特征與方向盤轉角之間的關系。

卷積神經網絡由于其強大的擬合能力和泛化能力，使得其在圖像分類、圖像分割、目標檢測與行為預測等任務中表現出了優秀的性能。車道線保持方法的實質是車輛位姿、行駛方向與車道線與車輛的相對關系與對應的方向盤轉角之間的一個映射關系，基于深度學習的智能車端到端決策算法的本質就是通過訓練深度網絡，使得網絡能夠在高維空間中擬合上述的映射關系，從而具有根據圖像計算出方向盤轉角的能力。

公開號為CN108227707A的專利介紹了一種基于激光雷達和端到端深度學習方法的自動駕駛方法，該方法包括以下步驟：將激光雷達獲取的行車環境信息實時轉化為深度圖；根據相應的匹配規則生成對應的數據標注對,并且將其作為訓練數據；將訓練數據輸入構建的深度卷積神經網絡模型進行訓練,通過深度卷積神經網絡模型得到車輛的控制量。該方法能夠利用激光雷達所獲得的深度圖進行端到端的決策，但車輛的控制是一個連續的過程，在車輛進行自動駕駛的過程中應當考慮更長的連續關系，且單純的深度卷積神經網絡缺少提取連續幀之間的時序依賴的能力。

公開號為CN109581928A的專利介紹了一種面向高速公路場景的智能車端到端決策方法及系統，在該方法中主要提出了利用遷移學習的思路用于擴充數據庫，對于卷積神經網絡而言，更多的數據意味著更強的魯棒性，在利用遷移學習使得模型在不同的數據庫訓練時能夠增強算法在面對不同場景下的魯棒性，使得算法的抗干擾能力更加強大。由于網絡在訓練過程中利用了更多的數據，這也可以避免網絡出現過擬合的現象，從而緩解網絡在測試集上表現出低偏差，高方差的現象。該專利中的方法雖然提高了性能，但是卻仍然缺乏對于車輛連續控制過程的考慮。

公開號為CN109656134A的專利介紹了一種基于時空聯合遞歸神經網絡的智能車端到端決策方法，在該專利所使用的算法中利用了長短時記憶網絡以提取連續數據幀之間的時間依賴關系，該專利中所提出的智能車端到端決策方法中對于時序信息與空間特征信息的融合缺乏合理性，該方法中利用了長短時記憶網絡提取了連續數據幀之間的時間依賴信息，該信息在與圖像幀進行聯合計算時會有大量的冗余信息，且單純的利用長短時記憶網絡會破壞圖像中的二維特征，從而在這一環節損失一些信息。