[發(fā)明專利]基于深度強(qiáng)化學(xué)習(xí)的車輛硬件在環(huán)仿真訓(xùn)練系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110054199.6
• 申請(qǐng)日: 2021-01-15
• 公開（公告）號(hào): CN112906126B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 余貴珍;廖亞萍;周彬;李涵;陳冠宏
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06F30/15
• 分類號(hào): G06F30/15;G06F18/214;G06N3/04;B60W50/00
• 代理公司: 北京航智知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11668
• 代理人: 黃川;史繼穎

本發(fā)明屬于無(wú)人駕駛車輛仿真測(cè)試領(lǐng)域，特別涉及一種基于深度強(qiáng)化學(xué)習(xí)的車輛硬件在環(huán)仿真訓(xùn)練系統(tǒng)及方法。本系統(tǒng)包括虛擬仿真單元和實(shí)車控制器，所述虛擬仿真單元包括仿真車輛模塊、仿真控制模塊、實(shí)車軌跡數(shù)據(jù)庫(kù)、仿真?zhèn)鞲衅髂K、重置接口以及啟停接口。本發(fā)明通過對(duì)實(shí)車控制器和虛擬仿真場(chǎng)景進(jìn)行聯(lián)合仿真訓(xùn)練，實(shí)現(xiàn)深度強(qiáng)化學(xué)習(xí)運(yùn)動(dòng)規(guī)劃模型在實(shí)車無(wú)人駕駛系統(tǒng)的有效運(yùn)行，從而解決深度強(qiáng)化學(xué)習(xí)模型無(wú)法從虛擬仿真車輛到無(wú)人駕駛實(shí)車進(jìn)行有效移植的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于無(wú)人駕駛車輛仿真測(cè)試領(lǐng)域，特別涉及一種基于深度強(qiáng)化學(xué)習(xí)的車輛硬件在環(huán)仿真訓(xùn)練系統(tǒng)及方法。

背景技術(shù)

運(yùn)動(dòng)規(guī)劃模塊是車輛實(shí)現(xiàn)無(wú)人駕駛的重要技術(shù)環(huán)節(jié)，在無(wú)人駕駛感知-運(yùn)動(dòng)(規(guī)劃)-控制-執(zhí)行技術(shù)鏈中起到承上啟下的重要作用，相當(dāng)于駕駛員的大腦。過去，無(wú)人駕駛車輛的運(yùn)動(dòng)規(guī)劃研究主要采用規(guī)則式方法、模型式方法和深度學(xué)習(xí)數(shù)據(jù)“喂養(yǎng)式”方法。由于規(guī)則式和模型式方法僅能針對(duì)特定簡(jiǎn)單場(chǎng)景進(jìn)行參數(shù)建模，不適用于復(fù)雜多變的城市行車場(chǎng)景，而基于深度學(xué)習(xí)的運(yùn)動(dòng)規(guī)劃模型不僅需要采集大量的場(chǎng)景數(shù)據(jù)進(jìn)行學(xué)習(xí)，才能保障車輛在這些場(chǎng)景中安全運(yùn)行，而且建立的模型無(wú)法適用于未學(xué)習(xí)的場(chǎng)景。鑒于上述這些方法存在的不足之處，學(xué)者們提出基于深度強(qiáng)化學(xué)習(xí)的運(yùn)動(dòng)規(guī)劃建模方法，利用深度強(qiáng)化學(xué)習(xí)結(jié)合深度學(xué)習(xí)的高維數(shù)據(jù)特征提取優(yōu)勢(shì)和強(qiáng)化學(xué)習(xí)的自學(xué)習(xí)優(yōu)勢(shì)，同時(shí)彌補(bǔ)上述三種方法的不足。

許多學(xué)者將深度強(qiáng)化學(xué)習(xí)應(yīng)用于構(gòu)建無(wú)人駕駛跟車、換道、車道保持等模型，并使用仿真軟件對(duì)構(gòu)建的深度強(qiáng)化學(xué)習(xí)模型進(jìn)行成千上萬(wàn)次的試錯(cuò)訓(xùn)練。采取仿真訓(xùn)練的方式不僅減少大量的人力和財(cái)力耗費(fèi)，同時(shí)避免了碰撞事故和人員傷亡的發(fā)生。如中國(guó)專利CN201811092800.5公開了“一種基于強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練的自動(dòng)泊車方法”，其利用仿真方法訓(xùn)練自動(dòng)泊車強(qiáng)化學(xué)習(xí)模型。中國(guó)專利CN201910283506.0公開了“一種基于深度強(qiáng)化學(xué)習(xí)的防碰撞控制方法”，其利用本車參數(shù)和環(huán)境車輛參數(shù)，構(gòu)建虛擬環(huán)境模型訓(xùn)練獲取了深度強(qiáng)化學(xué)習(xí)防碰撞方法。這些方法在仿真軟件中取得了不錯(cuò)的訓(xùn)練和測(cè)試效果，但他們主要是將仿真方法用于驗(yàn)證算法的可行性，而并未考慮模型在實(shí)車控制器上的應(yīng)用情況。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明提出一種基于深度強(qiáng)化學(xué)習(xí)的車輛運(yùn)動(dòng)規(guī)劃硬件在環(huán)仿真訓(xùn)練系統(tǒng)及方法，通過對(duì)實(shí)車控制器和虛擬仿真場(chǎng)景進(jìn)行聯(lián)合仿真訓(xùn)練，實(shí)現(xiàn)深度強(qiáng)化學(xué)習(xí)運(yùn)動(dòng)規(guī)劃模型在實(shí)車無(wú)人駕駛系統(tǒng)的有效運(yùn)行，從而解決深度強(qiáng)化學(xué)習(xí)模型無(wú)法從虛擬仿真車輛到無(wú)人駕駛實(shí)車進(jìn)行有效移植的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于深度強(qiáng)化學(xué)習(xí)的車輛運(yùn)動(dòng)規(guī)劃硬件在環(huán)仿真訓(xùn)練系統(tǒng)，包括虛擬仿真單元和實(shí)車控制器，所述虛擬仿真單元包括仿真車輛模塊、仿真控制模塊、實(shí)車軌跡數(shù)據(jù)庫(kù)、仿真?zhèn)鞲衅髂K、重置接口以及啟停接口；

所述仿真車輛模塊包括運(yùn)用虛擬引擎軟件通過物理部件繪制、組裝而成且與實(shí)車車型機(jī)械原理相匹配的虛擬車輛，所述虛擬車輛包括由所述仿真控制模塊控制的虛擬本車車輛和由所述實(shí)車軌跡數(shù)據(jù)庫(kù)中的實(shí)車軌跡數(shù)據(jù)控制的虛擬環(huán)境車輛；

所述仿真?zhèn)鞲衅髂K包括虛擬傳感器和虛擬傳感器數(shù)據(jù)輸出接口；所述虛擬傳感器用于采集道路環(huán)境地圖數(shù)據(jù)、虛擬環(huán)境車輛運(yùn)行數(shù)據(jù)以及虛擬本車車輛運(yùn)行數(shù)據(jù)；

所述重置接口用于接收所述實(shí)車控制器的重置指令，以進(jìn)行所述虛擬仿真單元的環(huán)境重置，所述環(huán)境重置指結(jié)束當(dāng)前所述虛擬仿真單元中所有模塊的運(yùn)行狀態(tài)，回歸重置指令所要求的狀態(tài)；

所述啟停接口用于接收所述實(shí)車控制器的啟動(dòng)指令和停止指令，以進(jìn)行所述虛擬仿真單元的環(huán)境啟動(dòng)和停止，所述環(huán)境啟動(dòng)和停止指控制所述虛擬仿真單元各模塊的啟動(dòng)工作和停止工作；

所述實(shí)車控制器包括深度網(wǎng)絡(luò)學(xué)習(xí)模塊、虛擬傳感器數(shù)據(jù)輸入接口、數(shù)據(jù)處理模塊以及動(dòng)作輸出接口，所述虛擬傳感器數(shù)據(jù)輸入接口與所述虛擬傳感器數(shù)據(jù)輸出接口連接；所述數(shù)據(jù)處理模塊用于對(duì)從所述虛擬傳感器數(shù)據(jù)輸入接口接收的數(shù)據(jù)進(jìn)行處理，并將處理后數(shù)據(jù)發(fā)送至所述深度網(wǎng)絡(luò)學(xué)習(xí)模塊，計(jì)算輸出控制指令；