[發(fā)明專利]一種基于模糊深度強(qiáng)化學(xué)習(xí)的自動(dòng)泊車方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910810427.0
• 申請(qǐng)日: 2019-08-29
• 公開（公告）號(hào): CN110525428B
• 公開（公告）日: 2020-09-04
• 發(fā)明（設(shè)計(jì)）人: 黃鶴;張潤;張炳力;郭偉鋒;沈干;于海濤;姜平
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06F17/10
• 分類號(hào): G06F17/10;B60W30/06;B60W50/00;G06F30/15;G06N3/08;G06F30/27
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

本發(fā)明公開了一種基于模糊深度強(qiáng)化學(xué)習(xí)的自動(dòng)泊車方法，其步驟包括：1構(gòu)建模糊動(dòng)作網(wǎng)絡(luò)，輸出控制指令從而建立樣本池集合；2搭建模糊評(píng)價(jià)網(wǎng)絡(luò)用于訓(xùn)練模糊動(dòng)作網(wǎng)絡(luò)；3搭建目標(biāo)模糊評(píng)價(jià)網(wǎng)絡(luò)與目標(biāo)模糊動(dòng)作網(wǎng)絡(luò)，用于訓(xùn)練模糊評(píng)價(jià)網(wǎng)絡(luò)；3以樣本池集合中t時(shí)刻的樣本{s_t,a_t,R_t,s_t+1}作為輸入來訓(xùn)練網(wǎng)絡(luò)；4將t+1的值賦給t返回步驟3繼續(xù)學(xué)習(xí)，直到t＞C為止。本發(fā)明能通過結(jié)合模糊神經(jīng)網(wǎng)絡(luò)以及深度強(qiáng)化學(xué)習(xí)的控制方法來完成自動(dòng)泊車，從而能使得自動(dòng)泊車過程更加安全可靠，降低停車事故的發(fā)生。

技術(shù)領(lǐng)域

本發(fā)明涉及智能汽車自動(dòng)泊車規(guī)劃技術(shù)領(lǐng)域，具體的說是一種基于模糊深度強(qiáng)化學(xué)習(xí)的自動(dòng)泊車方法。

背景技術(shù)

隨著機(jī)動(dòng)車保有量的不斷上升，停車位變得擁擠，車位擁擠會(huì)給城市帶來安全、經(jīng)濟(jì)、環(huán)境、健康等方面的問題，停車問題以及成為不可避免的問題。同時(shí)，由于停車環(huán)境擁擠、司機(jī)技術(shù)水平的原因，停車事故頻頻發(fā)生。隨著泊車技術(shù)的發(fā)展，車企推出了半自動(dòng)泊車系統(tǒng)以及全自動(dòng)泊車系統(tǒng)。半自動(dòng)泊車系統(tǒng)利用攝像頭來采集圖像數(shù)據(jù)以及超聲波雷達(dá)來檢測周圍物體距車身的距離數(shù)據(jù)，通過傳感器的數(shù)據(jù)提醒司機(jī)進(jìn)行泊車，但是還是根據(jù)司機(jī)主觀因素完成泊車；全自動(dòng)泊車系統(tǒng)采用傳統(tǒng)軌跡規(guī)劃的方法，通常包括兩段式或者三段式泊車，存在著傳感器誤識(shí)別、環(huán)境復(fù)雜、軌跡誤差等原因，無法適用于多種泊車環(huán)境。

發(fā)明內(nèi)容

本發(fā)明為了克服上述現(xiàn)有技術(shù)的不足之處，提供一種基于模糊深度強(qiáng)化學(xué)習(xí)的自動(dòng)泊車方法，以期通過結(jié)合模糊神經(jīng)網(wǎng)絡(luò)以及深度強(qiáng)化學(xué)習(xí)的控制方法來完成自動(dòng)泊車，從而能使得自動(dòng)泊車過程更加安全可靠，降低停車事故的發(fā)生。

本發(fā)明為達(dá)到上述發(fā)明目的，采用如下的技術(shù)方案是：

本發(fā)明一種基于模糊深度強(qiáng)化學(xué)習(xí)的自動(dòng)泊車方法的特點(diǎn)在于，包括以下步驟；

步驟1：建立車輛動(dòng)力學(xué)模型以及泊車環(huán)境模型；

步驟2：收集真實(shí)場景中基于駕駛員經(jīng)驗(yàn)的泊車數(shù)據(jù)作為原始數(shù)據(jù)，所述泊車數(shù)據(jù)為車輛的狀態(tài)信息與車輛控制指令；

步驟3：定義車輛控制指令集a＝{a₀,a₁,...,a_t,...,a_m}，a₀代表車輛初始時(shí)刻的控制指令，a_t代表車輛t時(shí)刻的控制指令，并有a_t＝{v_t,δ_t}；v_t代表車輛t時(shí)刻的速度，δ_t代表車輛t時(shí)刻的方向盤角度，定義狀態(tài)信息集s＝{s₀,s₁,...,s_t,...,s_m}，s₀代表車輛初始時(shí)刻的狀態(tài)，s_t代表車輛t時(shí)刻執(zhí)行t-1時(shí)刻的控制指令a_t-1后的狀態(tài)，并有s_t＝{x_t,y_t,ε_t}，x_t代表車輛t時(shí)刻在大地坐標(biāo)系下的橫坐標(biāo)，y_t代表車輛t時(shí)刻在大地坐標(biāo)系下的縱坐標(biāo)，ε_t代表t時(shí)刻的航向角；t＝1,2,…,m；

步驟4：定義并初始化t＝1；更新系數(shù)τ，樣本數(shù)m，目標(biāo)網(wǎng)絡(luò)更新頻率T，最大迭代次數(shù)C；

步驟5：構(gòu)建模糊動(dòng)作網(wǎng)絡(luò)，包括：輸入層、隱藏層、輸出層；

所述輸入層包含一個(gè)神經(jīng)元，用于輸入車輛t時(shí)刻狀態(tài)s_t；

所述隱藏層包括：模糊化層、模糊規(guī)則層和模糊決策層；