[發(fā)明專利]一種基于深度強化學(xué)習與神經(jīng)網(wǎng)絡(luò)的軌跡預(yù)測模型方法、系統(tǒng)及裝置

在審

• 申請?zhí)枺?/td>: 202110784637.4
• 申請日: 2021-07-12
• 公開（公告）號: CN113298324A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計）人: 李悅;曹愷;駱?gòu)?/a>
• 申請（專利權(quán)）人: 東風悅享科技有限公司
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/04;G06N3/08
• 代理公司: 武漢智嘉聯(lián)合知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 42231
• 代理人: 周偉

1.一種基于深度強化學(xué)習與神經(jīng)網(wǎng)絡(luò)的軌跡預(yù)測模型方法，其特征在于，所述方法步驟如下：

獲取周圍車輛的實時車輛軌跡數(shù)據(jù)；

將周圍車輛實時車輛軌跡數(shù)據(jù)分別輸入至訓(xùn)練好的LSTM神經(jīng)網(wǎng)絡(luò)模型及訓(xùn)練好的DDPG強化學(xué)習模型中；

所述LSTM神經(jīng)網(wǎng)絡(luò)模型接收周圍車輛實時車輛軌跡數(shù)據(jù)，對于輸入數(shù)據(jù)進行處理，計算當前位置與左右臨近車道中心線的距離信息和車輛縱向位置信息，構(gòu)建成一個多維數(shù)組，輸入LSTM模型，將周圍車輛軌跡是否有向左或向右的換道信息預(yù)測和縱向是否加減速的信息預(yù)測值作為周圍車輛的行駛意圖信息一輸出，并傳至所述DDPG強化學(xué)習模型中；

所述DDPG強化學(xué)習模型接收所述周圍車輛實時車輛軌跡數(shù)據(jù)，同時接受LSTM神經(jīng)網(wǎng)絡(luò)傳輸來的周圍車輛的行駛意圖信息一，構(gòu)建成一個多維數(shù)組，對于輸入的多維數(shù)據(jù)，按照數(shù)據(jù)時間長度將其分割為固定長度列表，按照固定時間序列長度采用滑動窗固定滑動步長方法將其分割，作為最終周圍車輛的行駛意圖信息輸出。

2.根據(jù)權(quán)利要求1所述的一種基于深度強化學(xué)習與神經(jīng)網(wǎng)絡(luò)的軌跡預(yù)測模型方法，其特征在于：將輸出的最終周圍車輛的行駛意圖信息與周圍車輛實際行進過程中的實際車輛軌跡數(shù)據(jù)進行比對，對最終周圍車輛的行駛意圖信息進行準確度驗證，并將驗證正確的最終周圍車輛的行駛意圖信息返回至DDPG強化學(xué)習模型或LSTM神經(jīng)網(wǎng)絡(luò)模型中的至少一個模型作為其訓(xùn)練數(shù)據(jù)樣本。

3.根據(jù)權(quán)利要求1所述的一種基于深度強化學(xué)習與神經(jīng)網(wǎng)絡(luò)的軌跡預(yù)測模型方法，其特征在于，所述測試車輛獲取所述最終周圍車輛的行駛意圖信息，并依據(jù)該最終周圍車輛的行駛意圖信息進行無碰撞的自動駕駛導(dǎo)航。

4.根據(jù)權(quán)利要求1或2或3所述的一種基于深度強化學(xué)習與神經(jīng)網(wǎng)絡(luò)的軌跡預(yù)測模型方法，其特征在于，所述最終周圍車輛的行駛意圖信息包括：路徑規(guī)劃和車速控制。

5.根據(jù)權(quán)利要求1或2或3所述的一種基于深度強化學(xué)習與神經(jīng)網(wǎng)絡(luò)的軌跡預(yù)測模型方法，其特征在于，所述按照固定時間序列長度采用滑動窗固定滑動步長方法為選定時間步長為50，滑動窗步長為20，對于輸入數(shù)據(jù)將按照50、20分割，步長為l-output。

6.一種基于深度強化學(xué)習與神經(jīng)網(wǎng)絡(luò)的軌跡預(yù)測模型系統(tǒng)，其特征在于所述系統(tǒng)包括：

狀態(tài)監(jiān)測系統(tǒng)：用于獲取測試車輛的周圍車輛的實時車輛軌跡數(shù)據(jù)；

數(shù)據(jù)處理系統(tǒng)：該系統(tǒng)包含訓(xùn)練好的LSTM神經(jīng)網(wǎng)絡(luò)模型及訓(xùn)練好的DDPG強化學(xué)習模型，該系統(tǒng)用于接收所述測試車輛的周圍車輛的實時車輛軌跡數(shù)據(jù)分別傳輸至訓(xùn)練好的LSTM神經(jīng)網(wǎng)絡(luò)模型及訓(xùn)練好的DDPG強化學(xué)習模型中；

由LSTM神經(jīng)網(wǎng)絡(luò)模型接收周圍車輛實時車輛軌跡數(shù)據(jù)，對于輸入數(shù)據(jù)進行處理，計算當前位置與左右臨近車道中心線的距離信息和車輛縱向位置信息，構(gòu)建成一個多維數(shù)組，輸入LSTM模型，將周圍車輛軌跡是否有向左或向右的換道信息預(yù)測和縱向是否加減速的信息預(yù)測值作為周圍車輛的行駛意圖信息一輸出；

由DDPG強化學(xué)習模型將周圍車輛實時車輛軌跡數(shù)據(jù)與周圍車輛的行駛意圖信息一構(gòu)建成一個多維數(shù)組，按照數(shù)據(jù)時間長度將其分割為固定長度列表，按照固定時間序列長度采用滑動窗固定滑動步長方法將其分割，作為最終周圍車輛的行駛意圖信息輸出；

數(shù)據(jù)傳輸系統(tǒng)：用于狀態(tài)監(jiān)測系統(tǒng)，數(shù)據(jù)處理系統(tǒng)，訓(xùn)練好的LSTM神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練好的DDPG強化學(xué)習模型四者之間的數(shù)據(jù)傳輸。

7.根據(jù)權(quán)利要求6所述的一種基于深度強化學(xué)習與神經(jīng)網(wǎng)絡(luò)的軌跡預(yù)測模型系統(tǒng)，其特征在于，所述系統(tǒng)還包括實時路徑采集系統(tǒng)，該系統(tǒng)用于實時獲取周圍車輛的實際車輛軌跡數(shù)據(jù)，并利用數(shù)據(jù)傳輸系統(tǒng)將其傳輸至數(shù)據(jù)處理系統(tǒng)；

數(shù)據(jù)處理系統(tǒng)將實際車輛軌跡數(shù)據(jù)與最終周圍車輛的行駛意圖信息進行準確度驗證，將驗證正確的最終周圍車輛的行駛意圖信息返回至DDPG強化學(xué)習模型或LSTM神經(jīng)網(wǎng)絡(luò)模型中的至少一個模型作為其訓(xùn)練數(shù)據(jù)樣本。