[發(fā)明專利]一種基于模糊獎(jiǎng)勵(lì)的無人駕駛車輛軌跡生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711374968.0
• 申請(qǐng)日: 2017-12-19
• 公開（公告）號(hào): CN108229730B
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 王祝萍;邢文治;張皓;陳啟軍
• 申請(qǐng)（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號(hào): G06Q10/04
• 分類號(hào): G06Q10/04;G05D1/02
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 趙志遠(yuǎn)

本發(fā)明涉及一種基于模糊獎(jiǎng)勵(lì)的無人駕駛車輛軌跡生成方法，包括以下步驟：1)獲取多條示教車輛的軌跡信息，并統(tǒng)計(jì)軌跡信息中軌跡特征的特征期望；2)在無人駕駛車輛運(yùn)行過程中，根據(jù)特征期望獲取當(dāng)前空間狀態(tài)下的獎(jiǎng)勵(lì)值；3)根據(jù)每個(gè)空間狀態(tài)下的獎(jiǎng)勵(lì)值在空間中選擇軌跡點(diǎn)坐標(biāo)，擬合后形成最終的無人駕駛車輛的車輛軌跡。與現(xiàn)有技術(shù)相比，本發(fā)明具有規(guī)律統(tǒng)計(jì)、具有健壯的遷移能力、簡(jiǎn)單易操作、貼近示教、適用于小數(shù)據(jù)集等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及無人車輛駕駛決策領(lǐng)域，尤其是涉及一種基于模糊獎(jiǎng)勵(lì)的無人駕駛車輛軌跡生成方法。

背景技術(shù)

無人駕駛汽車是具有自主行駛能力移動(dòng)機(jī)器人的一種高級(jí)形態(tài)。它是能夠?qū)崿F(xiàn)環(huán)境感知、決策規(guī)劃與運(yùn)動(dòng)控制三大功能于一體的智能計(jì)算系統(tǒng)。系統(tǒng)相對(duì)其它小型移動(dòng)機(jī)器人來說，結(jié)構(gòu)比較復(fù)雜。除了基本的移動(dòng)行駛能力外，具有運(yùn)用雷達(dá)、攝像頭等各種傳感器配合特制的高精度地圖進(jìn)行即時(shí)的數(shù)據(jù)融合與定位，實(shí)現(xiàn)對(duì)當(dāng)前環(huán)境的感知理解。同時(shí)，根據(jù)感知器理解的道路和運(yùn)動(dòng)障礙物信息，車輛運(yùn)用決策規(guī)劃算法切出合理可行的預(yù)期軌跡，由控制模塊進(jìn)行最終的車輛移動(dòng)行為實(shí)施。整個(gè)智能計(jì)算系統(tǒng)包括了車道線檢測(cè)、障礙物識(shí)別、高精度地圖、高精度定位、決策規(guī)劃算法和控制器設(shè)計(jì)等重要的關(guān)鍵技術(shù)，涉及眾多學(xué)科知識(shí)，具有極高的理論研究意義與工程實(shí)踐價(jià)值。

無人駕駛車輛研究的領(lǐng)域包括環(huán)境感知、行為決策、規(guī)劃控制三大方向。其中，行為決策作為連接環(huán)境感知與規(guī)劃控制的中樞位置，具有十分重要的地位，已經(jīng)成為無人駕駛領(lǐng)域研究的重點(diǎn)和難點(diǎn)。行為決策是在當(dāng)前環(huán)境下可選的幾種可行性方案中挑選出符合自身行為目的的最佳方案過程。在這個(gè)過程中，往往需要特定的決策算法對(duì)采取行為之后的結(jié)果狀態(tài)進(jìn)行預(yù)測(cè)評(píng)價(jià)，力求在統(tǒng)一判斷標(biāo)準(zhǔn)下做到選取最佳的行為。對(duì)于無人駕駛車輛而言，行為決策需要根據(jù)當(dāng)前雷達(dá)、攝像頭等傳感器融合的數(shù)據(jù)信息獲取對(duì)外部環(huán)境的感知理解，對(duì)車輛即將執(zhí)行的下一個(gè)行為進(jìn)行合理的預(yù)測(cè)，并根據(jù)決策算法將可選的行為以物理值的形式傳遞給規(guī)劃控制系統(tǒng)，進(jìn)一步實(shí)現(xiàn)決策模塊的期望行為，以實(shí)現(xiàn)車輛的無人操作自主駕駛。

行為決策理論最早出現(xiàn)在心理學(xué)、管理學(xué)、經(jīng)濟(jì)學(xué)領(lǐng)域，后來逐漸拓展應(yīng)用于其他方向。當(dāng)前，關(guān)于車輛的行為決策主要集中于有限狀態(tài)機(jī)、決策樹、多屬性決策等傳統(tǒng)的經(jīng)驗(yàn)方法和基于學(xué)習(xí)的預(yù)測(cè)方法。基于經(jīng)驗(yàn)的設(shè)計(jì)方法不能拓展至綜合復(fù)雜的場(chǎng)景，卻有著很高的穩(wěn)定性；基于學(xué)習(xí)預(yù)測(cè)的方法雖然對(duì)行為有著難以確定的穩(wěn)定性與安全性，不過對(duì)場(chǎng)景的適應(yīng)能力要遠(yuǎn)優(yōu)于基于經(jīng)驗(yàn)的設(shè)計(jì)方法。從無人駕駛的發(fā)展來看，必然面臨場(chǎng)景的復(fù)雜性與多變性這一問題，而現(xiàn)有方法中卻沒有有效解決該問題的手段。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于模糊獎(jiǎng)勵(lì)的無人駕駛車輛軌跡生成方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

一種基于模糊獎(jiǎng)勵(lì)的無人駕駛車輛軌跡生成方法，包括以下步驟：

1)獲取多條示教車輛的軌跡信息，并統(tǒng)計(jì)軌跡信息中軌跡特征的特征期望；

2)在無人駕駛車輛運(yùn)行過程中，根據(jù)特征期望獲取當(dāng)前空間狀態(tài)下的獎(jiǎng)勵(lì)值；

3)根據(jù)每個(gè)空間狀態(tài)下的獎(jiǎng)勵(lì)值在空間中選擇軌跡點(diǎn)坐標(biāo)，擬合后形成最終的無人駕駛車輛的車輛軌跡。

所述的步驟1)中，軌跡特征為車輛與最左車道線距離、車輛與最右車道線距離、車輛與左邊障礙物距離、車輛與右邊障礙物距離、車輛與正前方障礙物距離、車輛與正后方障礙物距離和/或車輛自身車速。

所述的步驟2)具體包括以下步驟：

21)計(jì)算當(dāng)前狀態(tài)下所有軌跡特征的遞減程度函數(shù)；

22)根據(jù)遞減程度函數(shù)計(jì)算軌跡特征對(duì)應(yīng)的獎(jiǎng)勵(lì)；

23)對(duì)特征對(duì)應(yīng)的獎(jiǎng)勵(lì)進(jìn)行求和得到車輛在該狀態(tài)下的獎(jiǎng)勵(lì)值。