[發(fā)明專利]基于時(shí)空注意力和多級(jí)LSTM信息表達(dá)的車輛軌跡預(yù)測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011423100.7
• 申請(qǐng)日: 2020-12-08
• 公開(kāi)（公告）號(hào): CN112686281A
• 公開(kāi)（公告）日: 2021-04-20
• 發(fā)明（設(shè)計(jì)）人: 張鍥石;程俊;康宇航;任子良;高向陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08;G06Q10/04;G06Q50/26
• 代理公司: 北京市誠(chéng)輝律師事務(wù)所 11430
• 代理人: 耿慧敏

本發(fā)明公開(kāi)了一種基于時(shí)空注意力和多級(jí)LSTM信息表達(dá)的車輛軌跡預(yù)測(cè)方法。該方法包括：獲取車輛行駛軌跡信息及其所處路況的時(shí)空?qǐng)D信息，該時(shí)空?qǐng)D信息用于表征預(yù)設(shè)時(shí)段內(nèi)車輛及其周圍目標(biāo)的位置信息，以及車輛及其周圍目標(biāo)隨時(shí)間推移的空間關(guān)系；將所述車輛行駛軌跡信息和所述時(shí)空?qǐng)D信息輸入至軌跡預(yù)測(cè)模型，得到預(yù)測(cè)的后續(xù)時(shí)刻車輛的行駛軌跡，其中所述軌跡預(yù)測(cè)模型以基于同一時(shí)段內(nèi)多個(gè)樣本車輛的樣本時(shí)空?qǐng)D信息及所述樣本車輛各自對(duì)應(yīng)的樣本行駛軌跡經(jīng)預(yù)訓(xùn)練獲得，所述軌跡預(yù)測(cè)模型包括多級(jí)LSTM編解碼器和時(shí)空注意力模塊。本發(fā)明提高了軌跡預(yù)測(cè)精確度和復(fù)雜環(huán)境下的魯棒性，使車輛軌跡預(yù)測(cè)能更好地用于無(wú)人駕駛。

技術(shù)領(lǐng)域

本發(fā)明涉及智能駕駛技術(shù)領(lǐng)域，更具體地，涉及一種基于時(shí)空注意力和多級(jí)LSTM信息表達(dá)的車輛軌跡預(yù)測(cè)方法。

背景技術(shù)

車輛軌跡預(yù)測(cè)旨在讓車輛知道接下來(lái)該如何移動(dòng)。如果軌跡被精準(zhǔn)的預(yù)測(cè)到，車輛就可以對(duì)周圍車輛的未來(lái)運(yùn)動(dòng)進(jìn)行合理有效的推理，為自己的駕駛操作做出最佳的規(guī)劃決策。目前車輛軌跡預(yù)測(cè)著重解決目標(biāo)車輛與周圍車輛交互信息(數(shù)據(jù)在時(shí)序和空間的交互以及語(yǔ)義關(guān)系)的提取和融合，但實(shí)際場(chǎng)景中物體移動(dòng)軌跡會(huì)因各目標(biāo)間相互影響而改變，因此單純考慮物體本身歷史軌跡的獨(dú)立預(yù)測(cè)方法難以應(yīng)對(duì)多目標(biāo)間關(guān)聯(lián)所帶來(lái)的影響。

現(xiàn)有的車輛軌跡預(yù)測(cè)方法主要有以下三種：

(1)許多最先進(jìn)的基于LSTM的軌跡預(yù)測(cè)方法，其針對(duì)序列學(xué)習(xí)和生成任務(wù)中的非線性時(shí)間依賴關(guān)系進(jìn)行建模。經(jīng)常用于語(yǔ)音識(shí)別和文字分析。雖然LSTM具有對(duì)車輛的歷史軌跡進(jìn)行學(xué)習(xí)和復(fù)制的能力，但是不能捕獲多個(gè)相關(guān)歷史軌跡之間的依賴關(guān)系。因此，單獨(dú)用LSTM來(lái)進(jìn)行軌跡預(yù)測(cè)的精確度并不高。

(2)基于Social-LSTM的方法，其通過(guò)多個(gè)LSTM來(lái)分別處理場(chǎng)景中的每個(gè)軌跡。然后通過(guò)Social-LSTM相互連接LSTMs。與傳統(tǒng)的LSTM不同，這個(gè)池化層允許空間接近的LSTM彼此共享信息，對(duì)于目標(biāo)物體的一個(gè)池化層，在一定半徑內(nèi)的所有LSTM的隱藏狀態(tài)被匯集在一起，并在下一次的時(shí)間步中用作輸入。但是這種方法在時(shí)序數(shù)據(jù)之間的交互信息的捕獲能力并不高。

(3)深度學(xué)習(xí)方法試圖通過(guò)多層神經(jīng)網(wǎng)絡(luò)從原始數(shù)據(jù)學(xué)習(xí)數(shù)據(jù)表示，在訓(xùn)練的過(guò)程中學(xué)習(xí)這些特征。有研究表明，基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的方法比部分LSTM方法效果好，但卷積神經(jīng)網(wǎng)絡(luò)(CNN)屬于局部提取特征，也就是近距離的特征。這類方法捕獲數(shù)據(jù)的空間交互信息能力還不夠。

經(jīng)分析，在實(shí)際情況中，自主駕駛的車輛很少會(huì)單獨(dú)出現(xiàn)在一條公路上，而是由周圍不固定的車輛圍繞。現(xiàn)有的車輛軌跡預(yù)測(cè)方法通常只考慮車輛自身的狀態(tài)和導(dǎo)航需求，而沒(méi)有全面捕捉車輛與周圍車輛之間的相關(guān)交互性的問(wèn)題。此外，現(xiàn)有研究也往往忽略了時(shí)間和空間信息之間的關(guān)聯(lián)性。

發(fā)明內(nèi)容

本發(fā)明的目的是克服上述現(xiàn)有技術(shù)的缺陷，提供一種基于時(shí)空注意力和多級(jí)LSTM信息表達(dá)的車輛軌跡預(yù)測(cè)方法。

本發(fā)明的技術(shù)方案是：提供一種基于時(shí)空注意力和多級(jí)LSTM信息表達(dá)的車輛軌跡預(yù)測(cè)方法。該方法包括以下步驟：

獲取車輛行駛軌跡信息及其所處路況的時(shí)空?qǐng)D信息，該時(shí)空?qǐng)D信息用于表征預(yù)設(shè)時(shí)段內(nèi)車輛及其周圍目標(biāo)的位置信息，以及車輛及其周圍目標(biāo)隨時(shí)間推移的空間關(guān)系；

將所述車輛行駛軌跡信息和所述時(shí)空?qǐng)D信息輸入至軌跡預(yù)測(cè)模型，得到預(yù)測(cè)的后續(xù)時(shí)刻車輛的行駛軌跡，其中所述軌跡預(yù)測(cè)模型以基于同一時(shí)段內(nèi)多個(gè)樣本車輛的樣本時(shí)空?qǐng)D信息及所述樣本車輛各自對(duì)應(yīng)的樣本行駛軌跡經(jīng)預(yù)訓(xùn)練獲得，所述軌跡預(yù)測(cè)模型包括多級(jí)LSTM編解碼器和時(shí)空注意力模塊。

在一個(gè)實(shí)施例中，所述時(shí)空?qǐng)D信息是以圖結(jié)構(gòu)表示的動(dòng)態(tài)時(shí)空?qǐng)D，標(biāo)記為G＝(V，ΣS，ΣT)，其中，V是節(jié)點(diǎn)集、ΣS是空間邊緣集，ΣT是時(shí)間邊緣集，節(jié)點(diǎn)V表示每個(gè)獨(dú)立的目標(biāo)，空間邊表示兩個(gè)節(jié)點(diǎn)間關(guān)系，用來(lái)反映目標(biāo)間的相互作用，時(shí)間邊在連續(xù)時(shí)間步長(zhǎng)上連接同一個(gè)節(jié)點(diǎn)，用于表示隨著時(shí)間推移的連接圖形。