[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車充電導(dǎo)航方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010820764.0
• 申請(qǐng)日: 2020-08-14
• 公開（公告）號(hào): CN112116125A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 邵成成;錢濤;李徐亮
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06Q10/04
• 分類號(hào): G06Q10/04;G06Q10/06;G06N3/08;G06N3/04;G06F30/20
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 馬貴香

1.一種基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車充電導(dǎo)航規(guī)劃方法，其特征在于，包括以下步驟：

步驟一：采集電動(dòng)汽車充電導(dǎo)航的歷史數(shù)據(jù)；

步驟二：利用確定性電動(dòng)汽車充電導(dǎo)航模型對(duì)歷史數(shù)據(jù)降維并抽取特征數(shù)據(jù)；

步驟三：根據(jù)步驟二中的特征數(shù)據(jù)，建立馬爾科夫決策過(guò)程模型；

步驟四：利用馬爾科夫決策過(guò)程模型，以特征數(shù)據(jù)為訓(xùn)練樣本，訓(xùn)練初始化后的深度Q值網(wǎng)絡(luò)；

步驟五，根據(jù)實(shí)際的各道路數(shù)據(jù)，利用完成訓(xùn)練的深度Q值網(wǎng)絡(luò)，得到綜合成本最小的電動(dòng)汽車充電站選擇，再利用確定性電動(dòng)汽車充電導(dǎo)航模型，得到路線規(guī)劃。

2.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車充電導(dǎo)航規(guī)劃方法，其特征在于，步驟一中，歷史數(shù)據(jù)包括：各道路的平均行駛速度、各充電站的等待時(shí)間和各充電站的充電電價(jià)。

3.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車充電導(dǎo)航規(guī)劃方法，其特征在于，確定性電動(dòng)汽車充電導(dǎo)航模型如下：

模型約束為：

e^end≥e^min (4)

其中，為行駛耗能成本，為行駛時(shí)間成本，為等待時(shí)間成本，為充電耗能成本，為到充電站k充電的除等待時(shí)間成本以外的成本之和，α為單位行駛距離耗電量，λ^e為單位電價(jià)，d_ij為交通節(jié)點(diǎn)i到j(luò)的距離，e^end為電動(dòng)汽車最終荷電狀態(tài)，eⁱⁿⁱ為電動(dòng)汽車的初始荷電狀態(tài)，E^max為電動(dòng)汽車的最大電池容量，e^max為電動(dòng)汽車最大荷電狀態(tài)，為充電站k的充電價(jià)格，v_ij為交通節(jié)點(diǎn)i到j(luò)的通行速度；y_i為代表充電站位置的0-1變量。

4.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車充電導(dǎo)航規(guī)劃方法，其特征在于，步驟三中，馬爾科夫決策過(guò)程模型包括：狀態(tài)向量s_t、動(dòng)作向量a_t、狀態(tài)轉(zhuǎn)移函數(shù)f(s_t,a_t,ω_t)以及收益r_t，其中，ω_t為隨機(jī)變量。

5.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車充電導(dǎo)航規(guī)劃方法，其特征在于，步驟三中，根據(jù)特征數(shù)據(jù)，利用公式(9)-(11)，建立馬爾科夫決策過(guò)程模型；

其中，s_t為狀態(tài)向量，n_t為當(dāng)前地點(diǎn)、e_t為當(dāng)前電量，為各個(gè)充電站的特征數(shù)值向量，上標(biāo)*表示模型求解的最優(yōu)變量，a_t為動(dòng)作向量，k為充電站的標(biāo)號(hào)，分別表示前往充電站k路徑上的第一個(gè)和第二個(gè)交通節(jié)點(diǎn)，上標(biāo)true表示真實(shí)的數(shù)據(jù)，r_t為收益。

6.根據(jù)權(quán)利要求4或5所述的一種基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車充電導(dǎo)航規(guī)劃方法，其特征在于，當(dāng)電動(dòng)汽車還在行駛中時(shí)，收益為行駛到充電站的行駛時(shí)間成本與行駛耗能成本；當(dāng)電動(dòng)汽車到充電站后，收益為充電耗能成本與充電等待時(shí)間成本。

7.根據(jù)權(quán)利要求5所述的一種基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車充電導(dǎo)航規(guī)劃方法，其特征在于，Q值通過(guò)下式計(jì)算：

其中，Q^ψ(s,a)為給定狀態(tài)s和動(dòng)作a，在神經(jīng)網(wǎng)絡(luò)參數(shù)ψ下的Q值；γ為折現(xiàn)率，k為時(shí)段數(shù)，r_t+k為在時(shí)段t+k下獲得的收益，上標(biāo)*表示最優(yōu)的Q函數(shù)。

8.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車充電導(dǎo)航規(guī)劃方法，其特征在于，步驟四中，利用梯度下降法訓(xùn)練初始化后的深度Q值網(wǎng)絡(luò)。

9.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車充電導(dǎo)航規(guī)劃方法，其特征在于，步驟五中，實(shí)際的各道路數(shù)據(jù)包括：各道路的平均行駛速度、各充電站的等待時(shí)間和各充電站的充電電價(jià)。