[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的農(nóng)林用車輛的導(dǎo)航控制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111493117.4
• 申請(qǐng)日: 2021-12-08
• 公開（公告）號(hào): CN114489038A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 張瑞瑞;張林煥;丁晨琛;楊琰;陳棟;姜舒文
• 申請(qǐng)（專利權(quán)）人: 農(nóng)芯(南京)智慧農(nóng)業(yè)研究院有限公司;北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心
• 主分類號(hào): G05D1/02
• 分類號(hào): G05D1/02
• 代理公司: 合肥山高專利代理事務(wù)所(普通合伙) 34234
• 代理人: 俞曉明

本發(fā)明公開了一種基于強(qiáng)化學(xué)習(xí)的農(nóng)林用車輛的導(dǎo)航控制方法，包括如下步驟：將車輛的路徑跟蹤系統(tǒng)描述成馬爾科夫決策過程，建立狀態(tài)空間及動(dòng)作空間，以神經(jīng)網(wǎng)絡(luò)的Q?Learning算法作為車輛的路徑跟蹤及避障控制器，通過對(duì)控制器進(jìn)行示教訓(xùn)練，實(shí)現(xiàn)車輛的精準(zhǔn)路徑跟蹤。本發(fā)明的有益效果是：將強(qiáng)化學(xué)習(xí)應(yīng)用到車輛的路徑跟蹤控制中，無需建立精確的車輛運(yùn)動(dòng)模型，即可實(shí)現(xiàn)車輛的精準(zhǔn)路徑跟蹤，避免車輛與障礙物的碰撞，自適應(yīng)性和自學(xué)能力強(qiáng)；可減少車輛在農(nóng)林業(yè)環(huán)境中由于路面泥濘打滑，不平整等因素造成的路徑跟蹤誤差，提高路徑跟蹤的精確度；此設(shè)計(jì)較為簡單，避免了精準(zhǔn)車輛模型的建立及大量的人工參數(shù)整定工作，可行性強(qiáng)。

技術(shù)領(lǐng)域

本發(fā)明涉及農(nóng)林用車輛導(dǎo)航技術(shù)領(lǐng)域，具體為一種基于強(qiáng)化學(xué)習(xí)的農(nóng)林用車輛的導(dǎo)航控制方法。

背景技術(shù)

隨著導(dǎo)航定位技術(shù)、傳感器技術(shù)的發(fā)展，車輛的路徑跟蹤技術(shù)也得到了快速發(fā)展。目前，路徑跟蹤控制算法主要有：傳統(tǒng)PID算法、模糊控制算法、滑模控制法、純跟蹤控制法等。傳統(tǒng)PID算法不依賴于精確的數(shù)學(xué)模型，應(yīng)用廣泛，但其自適應(yīng)能力較差，控制參數(shù)的調(diào)整較為困難，需要一定經(jīng)驗(yàn)和大量實(shí)驗(yàn)。模糊控制算法同樣不需要建立車輛模型，但需要專家的經(jīng)驗(yàn)制定規(guī)則庫，且數(shù)據(jù)穩(wěn)定性差，易隨著運(yùn)動(dòng)環(huán)境的變化而變化。滑模控制法抗干擾能力強(qiáng)，響應(yīng)快，但其缺點(diǎn)是容易發(fā)生抖振現(xiàn)象。導(dǎo)航定位技術(shù)對(duì)路徑跟蹤也極為重要，近些年，GNSS、激光雷達(dá)、機(jī)器視覺和多傳感器融合技術(shù)被廣泛應(yīng)用于環(huán)境感知定位領(lǐng)域。

農(nóng)林業(yè)環(huán)境比較復(fù)雜，路面不平整、不規(guī)則、泥濘易滑，會(huì)導(dǎo)致車輪打滑、偏移，與參考路徑形成較大的距離誤差。因此，使農(nóng)機(jī)能夠準(zhǔn)確地進(jìn)行路徑跟蹤相對(duì)較難。專利號(hào)CN110007667B公開了一種履帶拖拉機(jī)及其路徑跟蹤控制方法和系統(tǒng)的專利，通過定位系統(tǒng)得到拖拉機(jī)的位置偏差和移動(dòng)速度，利用主驅(qū)動(dòng)輪的半徑及轉(zhuǎn)速測(cè)出拖拉機(jī)的理論速度，同時(shí)結(jié)合履帶的滑移率得到拖拉機(jī)的航向變化率表達(dá)式，根據(jù)航向變化率表達(dá)式和采樣周期計(jì)算出航向變化預(yù)估值，進(jìn)而控制拖拉機(jī)的舵機(jī)角度，使拖拉機(jī)跟蹤期望路徑。專利號(hào)CN105867377B公開了一種農(nóng)業(yè)機(jī)械自動(dòng)導(dǎo)航控制方法的專利，通過 GPS測(cè)得農(nóng)業(yè)機(jī)械當(dāng)前的運(yùn)動(dòng)狀態(tài)，與預(yù)定義路徑數(shù)據(jù)對(duì)比，計(jì)算出橫向偏差與航向偏差，綜合模糊控制算法和改進(jìn)型純跟蹤算法得出前輪轉(zhuǎn)角，實(shí)現(xiàn)路徑跟蹤。但是這兩件專利的路徑跟蹤控制算法主要存在以下問題：依賴于精確的車輛模型或環(huán)境模型，使得控制系統(tǒng)的設(shè)計(jì)更加困難；需要大量的試驗(yàn)及專業(yè)的經(jīng)驗(yàn)，不能適時(shí)地隨環(huán)境的改變調(diào)整控制參數(shù)；自適應(yīng)性和自學(xué)能力不強(qiáng)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于強(qiáng)化學(xué)習(xí)的農(nóng)林用車輛的導(dǎo)航控制方法，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于強(qiáng)化學(xué)習(xí)的農(nóng)林用車輛的導(dǎo)航控制方法，包括如下步驟：

1)將車輛的路徑跟蹤系統(tǒng)描述成馬爾科夫決策過程(MDP)；

2)建立狀態(tài)空間及動(dòng)作空間；

3)以神經(jīng)網(wǎng)絡(luò)的Q-Learning算法作為車輛的路徑跟蹤及避障控制器，通過對(duì)控制器進(jìn)行示教訓(xùn)練，實(shí)現(xiàn)車輛的精準(zhǔn)路徑跟蹤。

進(jìn)一步優(yōu)選，所述建立狀態(tài)空間的步驟如下：

a1)通過GNSS獲取車輛的位置坐標(biāo)及航向信息；

a2)將參考路徑等間隔的分成n段，在每兩段的節(jié)點(diǎn)處取點(diǎn)，獲取參考路徑上距離車輛最近點(diǎn)的坐標(biāo)和該點(diǎn)的切線方向，計(jì)算車輛與參考路徑的距離誤差e_dt和航向誤差e_θt；

a3)將上一個(gè)狀態(tài)的車輛與參考路徑的距離誤差e_dt-1加入進(jìn)狀態(tài)空間；