[發(fā)明專(zhuān)利]一種依托強(qiáng)化學(xué)習(xí)的鉸接車(chē)軌跡跟蹤控制方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202310572466.8
• 申請(qǐng)日: 2023-05-22
• 公開(kāi)（公告）號(hào): CN116300977B
• 公開(kāi)（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 段京良;陳良發(fā);劉童;肖禮明;閆昊琪;高路路;馬飛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京科技大學(xué)
• 主分類(lèi)號(hào): G05D1/02
• 分類(lèi)號(hào): G05D1/02
• 代理公司: 北京市廣友專(zhuān)利事務(wù)所有限責(zé)任公司 11237
• 代理人: 張仲波

1.一種依托強(qiáng)化學(xué)習(xí)的鉸接車(chē)軌跡跟蹤控制方法，其特征在于，所述方法包括：

S1、獲取待控制鉸接車(chē)的車(chē)輛狀態(tài)以及環(huán)境觀測(cè)量；

S2、將所述車(chē)輛狀態(tài)以及環(huán)境觀測(cè)量輸入到構(gòu)建好的鉸接車(chē)軌跡跟蹤最優(yōu)控制模型；

S3、根據(jù)所述車(chē)輛狀態(tài)、環(huán)境觀測(cè)量以及鉸接車(chē)軌跡跟蹤最優(yōu)控制模型，得到每個(gè)時(shí)間步的車(chē)輛狀態(tài)，實(shí)現(xiàn)鉸接車(chē)軌跡跟蹤控制；

所述S2中的鉸接車(chē)軌跡跟蹤最優(yōu)控制模型的構(gòu)建過(guò)程包括：

S21、獲取預(yù)設(shè)的初始條件以及初始化參數(shù)；

S22、根據(jù)所述初始條件以及初始化參數(shù)，得到預(yù)測(cè)時(shí)域內(nèi)各參考點(diǎn)的橫坐標(biāo)；

S23、以?t時(shí)刻自車(chē)位置為原點(diǎn)建立自車(chē)坐標(biāo)系，基于鉸接車(chē)離散時(shí)間運(yùn)動(dòng)學(xué)方程以及t時(shí)刻策略輸出的動(dòng)作，獲取?t+1時(shí)刻的自車(chē)狀態(tài)量；

S24、根據(jù)所述t+1時(shí)刻的自車(chē)狀態(tài)量以及預(yù)測(cè)時(shí)域內(nèi)各參考點(diǎn)的橫坐標(biāo)構(gòu)建獎(jiǎng)勵(lì)函數(shù)；

S25、更新參考點(diǎn)信息；

S26、根據(jù)更新后的參考點(diǎn)信息，獲取基于自車(chē)坐標(biāo)系的車(chē)輛狀態(tài)及環(huán)境觀測(cè)量；

S27、將所述獎(jiǎng)勵(lì)函數(shù)、基于自車(chē)坐標(biāo)系的車(chē)輛狀態(tài)及環(huán)境觀測(cè)量作為鉸接車(chē)軌跡跟蹤最優(yōu)控制模型的輸入，建立約束條件，計(jì)算目標(biāo)函數(shù)，得到構(gòu)建好的鉸接車(chē)軌跡跟蹤最優(yōu)控制模型；

所述S27中的計(jì)算目標(biāo)函數(shù)，包括：

采用值分布柔性執(zhí)行評(píng)價(jià)強(qiáng)化學(xué)習(xí)算法學(xué)習(xí)獨(dú)立的值分布函數(shù)以及策略函數(shù)；

其中，所述值分布函數(shù)，如下式（1）-（4）所示：

（1）

（2）

（3）

（4）

其中，X為自車(chē)狀態(tài)量，X_ref為環(huán)境信息，u為自車(chē)動(dòng)作，為參數(shù)化目標(biāo)值網(wǎng)絡(luò)中待優(yōu)化的參數(shù)，表示求期望，r為獎(jiǎng)勵(lì)函數(shù)，為下一刻自車(chē)狀態(tài)量，為下一時(shí)刻環(huán)境信息，B為經(jīng)驗(yàn)池，為由第二策略網(wǎng)絡(luò)輸出的動(dòng)作，為第二策略網(wǎng)絡(luò)，Z為基于柔性策略產(chǎn)生的累計(jì)回報(bào)為狀態(tài)動(dòng)作回報(bào)，為柔性Z值的概率密度函數(shù)，為目標(biāo)值網(wǎng)絡(luò)中的待優(yōu)化參數(shù)，?為Bellman?自洽算子，為第一策略網(wǎng)絡(luò)，為參數(shù)化策略中待優(yōu)化的參數(shù)，為折扣因子，為t+1時(shí)刻的累計(jì)回報(bào)，σ_Z為值分布標(biāo)準(zhǔn)差：

所述策略函數(shù)，如下式（5）所示：

（5）

其中，Q由值分布函數(shù)給出，α為策略熵系數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述S21中的預(yù)設(shè)的初始條件以及初始化參數(shù)，包括：

在?t時(shí)刻，獲取大地坐標(biāo)系下連續(xù)的參考軌跡信息、期望速度曲線、系統(tǒng)的控制頻率、預(yù)測(cè)時(shí)域以及自車(chē)位置。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述S22中的根據(jù)所述初始條件以及初始化參數(shù)，得到預(yù)測(cè)時(shí)域內(nèi)各參考點(diǎn)的橫坐標(biāo)，包括：

在大地坐標(biāo)系下，基于當(dāng)前自車(chē)位置，利用期望速度對(duì)不同時(shí)間步的積分，求得預(yù)測(cè)時(shí)域內(nèi)各參考點(diǎn)的橫坐標(biāo)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述求得預(yù)測(cè)時(shí)域內(nèi)各參考點(diǎn)的橫坐標(biāo)，如下式（6）所示：

（6）

其中，j表示參考點(diǎn)的位置，N為預(yù)測(cè)時(shí)域，f為控制頻率,?t為時(shí)刻，v_ref為期望速度。