[發明專利]一種基于時空聯合遞歸神經網絡的智能車端到端決策方法

在審

• 申請號: 201811496880.0
• 申請日: 2018-12-07
• 公開（公告）號: CN109656134A
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 程洪;金凡;梁黃黃;趙洋
• 申請（專利權）人: 電子科技大學
• 主分類號: G05B13/04
• 分類號: G05B13/04;G06N3/04;G06N3/08
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

本發明公開了一種基于時空聯合遞歸神經網絡的智能車端到端決策方法，包括建立時空約束神經網絡、建立時空聯合遞歸神經網絡訓練模型和時空聯合遞歸神經網絡模型測試等步驟，從空間位置約束和時間上下文約束的角度出發利用卷積神經網絡提取場景中的空間位置特征和利用LSTMs網絡捕捉場景中的時間上下文特征，構建出時空聯合約束網絡的框架，根據輸入圖像直接計算決策量，將感知認知過程統一到決策過程中，這種同步優化所有過程的方法可以獲得更好的表現并且簡化了系統結構，能夠準確預測方向盤轉角值。

技術領域

本發明涉及無人駕駛汽車決策領域，特別涉及一種基于時空聯合遞歸神經網絡的智能車端到端決策方法。

背景技術

智能車決策模塊根據系統的輸入量計算決策值，保證智能車輛安全穩定地行駛，傳統的智能車決策方法利用車輛感知模塊計算的車道線信息、車輛信息計算決策值，其決策好壞很大程度上依賴于輸入信息，而將智能車決策過程分解為車道線檢測、車輛檢測、根據檢測的可行駛區域做決策等部分并不能保證整個系統獲得最優解，已有的端到端決策算法只考慮了當前時刻的場景圖像對最終決策值的影響，忽視了場景中物體的動態信息，也即時間上下文特征，智能車決策的目的一方面是行駛到目的地，另一方面要避免與場景中的障礙物發生碰撞，其決策過程必然受到場景中空間位置關系的約束，另外智能車決策過程在時間維度上連續，這使得車輛會以一定的運動趨勢行駛，也就是說智能車在行駛過程中還會受到場景時間上下文的約束，在這個背景下提出時空聯合遞歸神經網絡的智能車端到端決策方法，不僅可以簡化系統結構，還能做到更好地預測方向盤轉角值。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于時空聯合遞歸神經網絡的智能車端到端決策方法，基于空間位置約束和時間上下文約束的角度出發，構建了一種基于時空聯合遞歸神經網絡，能更準確地預測智能車方向盤轉角值，幫助智能車在行駛場景中準確安全地決策。

本發明的目的是通過以下技術方案來實現的：

一種基于時空聯合遞歸神經網絡的智能車端到端決策方法，包括以下步驟：

S1、建立時空約束神經網絡，所述時空約束神經網絡包括空間約束網絡和和時間約束網絡，所述空間約束網絡采用卷積神經網絡提取若干單幀圖像中的空間位置關系，所述時間約束網絡采用遞歸神經網絡提取連續的所述空間位置關系中的長期依賴關系；

S2、建立時空聯合遞歸神經網絡訓練模型，輸入數據建立預處理數據集，剔除預處理數據集中的無效場景圖像樣本，將剩余數據集樣本分為訓練樣本集和驗證樣本集，使用交叉驗證法依次選擇所述訓練樣本集和驗證樣本集中的圖像樣本作為所述時空聯合遞歸神經網絡訓練模型的測試樣本集，再選擇損失函數值和驗證損失函數值的最小值作為最終模型的輸出與樣本標簽值，然后用所述測試樣本集測試所述訓練模型來預測車輛方向盤轉角能力；

S3、時空聯合遞歸神經網絡模型測試，利用所述時空聯合遞歸神經網絡訓練模型預測所述測試集中的圖像輸出，計算其輸出與樣本標簽值的均方誤差根，根據模型的均方誤差根評估模型預測方向盤轉角的能力。

進一步地，所述時空約束神經網絡包括卷積層、遞歸神經網絡層、激活層、歸一化層、池化層、Dropout層和全連接層，所述卷積層提取空間位置關系的特征向量通過兩個分支輸出，一個分支通過全連接層降維后與所述樣本標簽傳遞給第一損失函數產生損失函數值進行空間約束，另一個分支連接遞歸神經網絡層通過全連接層降維后與所述樣本標簽傳遞給第二損失函數產生損失函數值進行時間約束。

進一步地，所述遞歸神經網絡層為由兩層LSTM堆疊連接形成LSTMs層，所述LSTMs層采用門結構和記憶細胞結構，所述記憶細胞結構用來保存長期的狀態，所述門結構用來控制信息流進和流出記憶細胞的比例。