[發(fā)明專利]一種基于時空聯(lián)合遞歸神經(jīng)網(wǎng)絡(luò)的智能車端到端決策方法

在審

• 申請?zhí)枺?/td>: 201811496880.0
• 申請日: 2018-12-07
• 公開（公告）號: CN109656134A
• 公開（公告）日: 2019-04-19
• 發(fā)明（設(shè)計）人: 程洪;金凡;梁黃黃;趙洋
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G05B13/04
• 分類號: G05B13/04;G06N3/04;G06N3/08
• 代理公司: 成都金英專利代理事務(wù)所(普通合伙) 51218
• 代理人: 袁英

1.一種基于時空聯(lián)合遞歸神經(jīng)網(wǎng)絡(luò)的智能車端到端決策方法，其特征在于，包括以下步驟：

S1、建立時空約束神經(jīng)網(wǎng)絡(luò)，所述時空約束神經(jīng)網(wǎng)絡(luò)包括空間約束網(wǎng)絡(luò)和和時間約束網(wǎng)絡(luò)，所述空間約束網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)提取若干單幀圖像中的空間位置關(guān)系，所述時間約束網(wǎng)絡(luò)采用遞歸神經(jīng)網(wǎng)絡(luò)提取連續(xù)的所述空間位置關(guān)系中的長期依賴關(guān)系；

S2、建立時空聯(lián)合遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，輸入數(shù)據(jù)建立預(yù)處理數(shù)據(jù)集，剔除預(yù)處理數(shù)據(jù)集中的無效場景圖像樣本，將剩余數(shù)據(jù)集樣本分為訓(xùn)練樣本集和驗證樣本集，使用交叉驗證法依次選擇所述訓(xùn)練樣本集和驗證樣本集中的圖像樣本作為所述時空聯(lián)合遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型的測試樣本集，再選擇損失函數(shù)值和驗證損失函數(shù)值的最小值作為最終模型的輸出與樣本標(biāo)簽值，然后用所述測試樣本集測試所述訓(xùn)練模型來預(yù)測車輛方向盤轉(zhuǎn)角能力；

S3、時空聯(lián)合遞歸神經(jīng)網(wǎng)絡(luò)模型測試，利用所述時空聯(lián)合遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型預(yù)測所述測試集中的圖像輸出，計算其輸出與樣本標(biāo)簽值的均方誤差根，根據(jù)模型的均方誤差根評估模型預(yù)測方向盤轉(zhuǎn)角的能力。

2.根據(jù)權(quán)利要求1所述的基于時空聯(lián)合遞歸神經(jīng)網(wǎng)絡(luò)的智能車端到端決策方法，其特征在于：所述時空約束神經(jīng)網(wǎng)絡(luò)包括卷積層、遞歸神經(jīng)網(wǎng)絡(luò)層、激活層、歸一化層、池化層、Dropout層和全連接層，所述卷積層提取空間位置關(guān)系的特征向量通過兩個分支輸出，一個分支通過全連接層降維后與所述樣本標(biāo)簽傳遞給第一損失函數(shù)產(chǎn)生損失函數(shù)值進(jìn)行空間約束，另一個分支連接遞歸神經(jīng)網(wǎng)絡(luò)層通過全連接層降維后與所述樣本標(biāo)簽傳遞給第二損失函數(shù)產(chǎn)生損失函數(shù)值進(jìn)行時間約束。

3.根據(jù)權(quán)利要求2所述的基于時空聯(lián)合遞歸神經(jīng)網(wǎng)絡(luò)的智能車端到端決策方法，其特征在于：所述遞歸神經(jīng)網(wǎng)絡(luò)層為由兩層LSTM堆疊連接形成的LSTMs層，所述LSTMs層采用門結(jié)構(gòu)和記憶細(xì)胞結(jié)構(gòu)，所述記憶細(xì)胞結(jié)構(gòu)用來保存長期的狀態(tài)，所述門結(jié)構(gòu)用來控制信息流進(jìn)和流出記憶細(xì)胞的比例。

4.根據(jù)權(quán)利要求3所述的基于時空聯(lián)合遞歸神經(jīng)網(wǎng)絡(luò)的智能車端到端決策方法，其特征在于：所述門結(jié)構(gòu)包括輸入門、遺忘門和輸出門，所述輸入門控制流進(jìn)記憶單元的信息數(shù)量，所述遺忘門控制上一時刻的記憶單元中可積累到當(dāng)前時刻的記憶單元的信息數(shù)量，所述輸出門控制當(dāng)前時刻的記憶單元中流出當(dāng)前時刻的細(xì)胞單元的信息數(shù)量，在t時刻有：

i^t＝σ(W_ix^t+R_iy^t-1+p_i⊙c^t-1+b_i)

f^t＝σ(W_fx^t+R_fy^t-1+p_f⊙c^t-1+b_f)

o^t＝σ(W_ox^t+R_oy^t-1+p_o⊙c^t+b_o)

z^t＝g(W_zx^t+R_zy^t-1+b_z)

c^t＝f^t⊙c^t-1+i^t⊙z^t

y^t＝o^t⊙g(c^t)

其中σ和g分別是激活函數(shù)sigmoid和tanh，⊙是點乘運算，i^t是輸入門，f^t是遺忘門o^t是輸出門，z^t是當(dāng)前時刻的輸入塊，c^t是當(dāng)前時刻的記憶單元的狀態(tài)，c^t-1是上一時刻的記憶單元狀態(tài)，y^t是當(dāng)前時刻隱藏層的狀態(tài)。