[發(fā)明專利]一種無(wú)人電動(dòng)車的路徑規(guī)劃方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811451735.0
• 申請(qǐng)日: 2018-11-30
• 公開（公告）號(hào): CN109445437A
• 公開（公告）日: 2019-03-08
• 發(fā)明（設(shè)計(jì)）人: 郭宏亮;何閔;楊其錦
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G05D1/02
• 分類號(hào): G05D1/02;G01C21/20
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 溫利平

本發(fā)明公開了一種無(wú)人電動(dòng)車的路徑規(guī)劃方法，將電動(dòng)車視為一個(gè)質(zhì)點(diǎn)，道路視為一條條線段，在利用導(dǎo)航系統(tǒng)我們可以實(shí)時(shí)獲得電動(dòng)車的絕對(duì)位置p_t(指各條道路的交點(diǎn))以及電動(dòng)車的電量e_t，利用二元組(p_t,e_t)作為增強(qiáng)學(xué)習(xí)中的狀態(tài)，其輸出為電動(dòng)車選擇將要行駛哪一條道路,而選擇的依據(jù)是電動(dòng)車對(duì)與當(dāng)前道路相鄰的道路中評(píng)價(jià)最高的那一條道路作為將要行駛的道路。

技術(shù)領(lǐng)域

本發(fā)明屬于電動(dòng)汽車技術(shù)領(lǐng)域，更為具體地講，涉及一種無(wú)人電動(dòng)車的路徑規(guī)劃方法。

背景技術(shù)

作為人們生活中的重要交通工具，汽車的大量使用帶來了能源消耗，資源短缺，環(huán)境污染等一系列負(fù)面影響，而節(jié)能與環(huán)保問題目前已成為世界各國(guó)關(guān)注的主要社會(huì)問題。在此種背景下，電動(dòng)汽車因其能源利用率高、零污染、噪聲小等優(yōu)點(diǎn)而受到了各國(guó)政府以及車企的重視，并開始步入實(shí)用化階段。從上個(gè)世紀(jì)90年代開始，各個(gè)國(guó)家就已經(jīng)紛紛出臺(tái)優(yōu)惠政策，投入研發(fā)經(jīng)費(fèi)來促進(jìn)電動(dòng)汽車的發(fā)展，比如中國(guó)的《汽車產(chǎn)業(yè)調(diào)整和振興規(guī)劃》、美國(guó)的《電動(dòng)汽車和復(fù)合汽車的研究開發(fā)和樣車試用法令》、日本的“綠色稅制”以及德國(guó)的《國(guó)家電動(dòng)汽車發(fā)展計(jì)劃》等。與此同時(shí)，大型車企們也紛紛加大資金投入進(jìn)行電動(dòng)汽車的研發(fā)和生產(chǎn)。目前多種電動(dòng)汽車品牌已經(jīng)出現(xiàn)在市場(chǎng)上，如寶馬的i3，奔馳的EQC，通用的Bolt等。

電動(dòng)汽車因其能源利用率高、零污染、噪聲小等優(yōu)點(diǎn)而受到了政府和車企的重視，然而其續(xù)航里程短、充電時(shí)間長(zhǎng)的缺點(diǎn)使得電動(dòng)汽車實(shí)際市場(chǎng)占有率遠(yuǎn)遠(yuǎn)低于預(yù)期。目前關(guān)于提高電動(dòng)汽車?yán)m(xù)航里程，縮短充電時(shí)間的研究因其關(guān)鍵科學(xué)問題太難且成本過高等原因而面臨巨大挑戰(zhàn)。本專利將改進(jìn)的增強(qiáng)學(xué)習(xí)算法運(yùn)用到電動(dòng)車的最優(yōu)路徑探索上。

增強(qiáng)學(xué)習(xí)也稱為強(qiáng)化學(xué)習(xí)。增強(qiáng)學(xué)習(xí)就是將情況映射為行為，也就是去最大化收益。學(xué)習(xí)者并不是被告知哪種行為將要執(zhí)行，而是通過嘗試學(xué)習(xí)到最大增益的行為并付諸行動(dòng)。也就是說增強(qiáng)學(xué)習(xí)關(guān)注的是智能體如何在環(huán)境中采取一系列行為，從而獲得最大的累積回報(bào)。通過增強(qiáng)學(xué)習(xí)，一個(gè)智能體應(yīng)該知道在什么狀態(tài)下應(yīng)該采取什么行為。RL是從環(huán)境狀態(tài)到動(dòng)作的映射的學(xué)習(xí)，我們把這個(gè)映射稱為策略。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種無(wú)人電動(dòng)車的路徑規(guī)劃方法，通過道路的評(píng)價(jià)最高值來規(guī)劃無(wú)人電動(dòng)車的路徑。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明一種無(wú)人電動(dòng)車的路徑規(guī)劃方法，其特征在于，包括以下步驟：

(1)、在最初的狀態(tài)，電動(dòng)車的起始位置為p₀，初始電量為e₀，初始狀態(tài)為s₀(p₀,e₀)，電動(dòng)車對(duì)每一條道路的評(píng)價(jià)Q均設(shè)為0；從一個(gè)正太分布中隨機(jī)抽取一個(gè)計(jì)步數(shù)k，已走步數(shù)設(shè)置為a＝0；

(2)、電動(dòng)車在與當(dāng)前道路相鄰道路中，以90％的概率選出其中評(píng)價(jià)最高的道路作為接下來要行駛的道路，以10％的概率隨機(jī)選擇一條道路作為接下來要行駛的道路，然后執(zhí)行步驟(3)；

(3)、當(dāng)行駛完當(dāng)前道路后，電動(dòng)車到達(dá)另一個(gè)狀態(tài)p’,e’，此時(shí)，電動(dòng)車得到一個(gè)獎(jiǎng)勵(lì)r，電動(dòng)車的已走步數(shù):a＝a+1；

(4)、比較a與k的大小，如果a等于k，則選擇更新，執(zhí)行步驟(5)；如果a不等于k則執(zhí)行步驟(2)；

(5)、結(jié)合下一條道路中的最高評(píng)價(jià)值來更新當(dāng)前道路的評(píng)價(jià)值：

在下一條道路中選擇評(píng)價(jià)最高的道路最為規(guī)劃路徑，記其評(píng)價(jià)為Q_m

Q_{當(dāng)前道路}＝Q_{當(dāng)前道路}+α(r+γQ_m-Q_{當(dāng)前道路})

其中，α代表學(xué)習(xí)速率，一般取0.1，γ代表對(duì)未來獎(jiǎng)勵(lì)的一個(gè)折扣率，一般取0.95；