[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)優(yōu)先提取的汽車縱向多態(tài)控制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110267799.0
• 申請(qǐng)日: 2021-03-11
• 公開（公告）號(hào): CN112861269B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 黃鶴;吳潤(rùn)晨;張峰;王博文;于海濤;湯德江;張炳力
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06F30/15
• 分類號(hào): G06F30/15;G06F30/17;G06F30/27;G06F119/14
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

本發(fā)明公開了一種基于深度強(qiáng)化學(xué)習(xí)優(yōu)先提取的汽車縱向多態(tài)控制方法，其步驟包括：1定義汽車行駛的狀態(tài)參數(shù)集s和控制參數(shù)集a；2初始化深度強(qiáng)化學(xué)習(xí)參數(shù)，并構(gòu)建深度神經(jīng)網(wǎng)絡(luò)；3定義深度強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)函數(shù)以及優(yōu)先提取規(guī)則；4訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)并得到最優(yōu)網(wǎng)絡(luò)模型；5獲得汽車t時(shí)刻狀態(tài)參數(shù)s_t并輸入最優(yōu)網(wǎng)絡(luò)模型從而得到輸出a_t并予汽車執(zhí)行。本發(fā)明通過結(jié)合優(yōu)先級(jí)提取算法以及深度強(qiáng)化學(xué)習(xí)的控制方法來完成汽車在縱向的多態(tài)行駛，從而使汽車在行駛過程中安全性更高，并減少交通事故的發(fā)生。

技術(shù)領(lǐng)域

本發(fā)明涉及智能汽車縱向多態(tài)控制技術(shù)領(lǐng)域，具體的說是一種基于深度強(qiáng)化學(xué)習(xí)優(yōu)先提取的汽車縱向多態(tài)控制方法。

背景技術(shù)

隨著城市經(jīng)濟(jì)快速發(fā)展和人民生活水平的不斷提高，城市機(jī)動(dòng)車保有量也大幅度增長(zhǎng)，汽車已成為人們出門不可或缺的代步工具，帶來快捷、方便的同時(shí)，也帶來了一系列安全問題。由于司機(jī)技術(shù)能力有限或其他不可控外部因素等原因，道路上經(jīng)常發(fā)生兩車或多車碰撞等交通問題，帶來生命財(cái)產(chǎn)安全損失的同時(shí)，也給道路通暢造成了較大困難。隨著汽車相關(guān)技術(shù)的不斷發(fā)展，很多車企都推出了自適應(yīng)巡航系統(tǒng)以及緊急制動(dòng)系統(tǒng)等。自適應(yīng)巡航系統(tǒng)利用雷達(dá)等傳感器獲得前方道路數(shù)據(jù)，根據(jù)相應(yīng)算法與前車保持一定車距和維持一定車速，但自適應(yīng)巡航系統(tǒng)往往在較高車速開啟，如25km/h以上，低于此速度就需要司機(jī)進(jìn)行人工控制；緊急制動(dòng)系統(tǒng)是指汽車在非自適應(yīng)巡航狀態(tài)下行駛，遇前方發(fā)生突發(fā)狀況如前車急停或突遇行人等情況下能夠主動(dòng)剎車避免事故的一種技術(shù)，但存在傳感器誤判、環(huán)境誤差等相關(guān)原因，不能適用于多種行駛環(huán)境，從而導(dǎo)致危險(xiǎn)事故的發(fā)生。

發(fā)明內(nèi)容

本發(fā)明為了克服上述現(xiàn)有技術(shù)的不足之處，提供了一種基于深度強(qiáng)化學(xué)習(xí)優(yōu)先提取的汽車縱向多態(tài)控制方法，以期通過結(jié)合優(yōu)先級(jí)提取算法以及深度強(qiáng)化學(xué)習(xí)的控制方法來完成汽車在縱向的多態(tài)行駛，從而使汽車在行駛過程中安全性更高，并減少交通事故的發(fā)生。

本發(fā)明為達(dá)到上述發(fā)明目的，采用如下的技術(shù)方案是：

本發(fā)明一種基于深度強(qiáng)化學(xué)習(xí)優(yōu)先提取的汽車縱向多態(tài)控制方法的特點(diǎn)包括以下步驟：

步驟1：建立車輛動(dòng)力學(xué)模型和車輛行駛環(huán)境模型；

步驟2：采集真實(shí)駕駛場(chǎng)景中汽車行駛數(shù)據(jù)并作為初始化數(shù)據(jù)，所述汽車行駛數(shù)據(jù)為車輛的初始狀態(tài)信息以及車輛的初始控制參數(shù)信息；

步驟3：定義車輛的狀態(tài)信息集s＝{s₀,s₁,···s_t,···,s_n}，s₀表示車輛的初始狀態(tài)信息，s_t表示車輛在狀態(tài)s_t-1即t-1時(shí)刻執(zhí)行控制動(dòng)作a_t-1之后所達(dá)到的狀態(tài)，且有s_t＝{Ax_t,e_t,Ve_t}，其中，Ax_t表示在t時(shí)刻車輛的縱向加速度，e_t表示在t時(shí)刻前車車速與兩車相對(duì)距離的差值，Ve_t表示在t時(shí)刻自身車速與前車車速的差值；

定義車輛的控制參數(shù)集a＝{a₀,a₁,···,a_t,···,a_n}，a₀表示車輛的初始控制參數(shù)信息，a_t表示車輛在狀態(tài)s_t即t時(shí)刻車輛所執(zhí)行的動(dòng)作，且有a_t＝{T_t,B_t}，其中，T_t表示在車輛在t時(shí)刻的節(jié)氣門開度，B_t表示車輛在t時(shí)刻的主缸壓力，t＝1,2,···,c，c表示訓(xùn)練總時(shí)長(zhǎng)；

步驟4：初始化參數(shù)，包括時(shí)刻t，貪婪概率ε-greedy，經(jīng)驗(yàn)池大小ms，目標(biāo)網(wǎng)絡(luò)更新頻率rt，優(yōu)先提取數(shù)據(jù)條數(shù)bs，獎(jiǎng)勵(lì)衰減因子γ；