[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的變電站內(nèi)巡檢機(jī)器人路徑規(guī)劃方案

在審

• 申請(qǐng)?zhí)枺?/td>: 202110449805.4
• 申請(qǐng)日: 2021-04-25
• 公開(kāi)（公告）號(hào): CN113515119A
• 公開(kāi)（公告）日: 2021-10-19
• 發(fā)明（設(shè)計(jì)）人: 劉晨;陳亞鵬;周振宇
• 申請(qǐng)（專利權(quán)）人: 華北電力大學(xué)
• 主分類號(hào): G05D1/02
• 分類號(hào): G05D1/02
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于強(qiáng)化學(xué)習(xí)的變電站內(nèi)巡檢機(jī)器人路徑規(guī)劃方案，其特征在于，該方案針對(duì)變電站巡檢場(chǎng)景，通過(guò)柵格法對(duì)實(shí)際變電站環(huán)境建模，并采用SARSA算法設(shè)計(jì)巡檢機(jī)器人路徑規(guī)劃方案，在解決巡檢機(jī)器人安全避障問(wèn)題的同時(shí)合理規(guī)劃巡檢路徑，適應(yīng)實(shí)際變電站的復(fù)雜環(huán)境。

2.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的變電站內(nèi)巡檢機(jī)器人路徑規(guī)劃方案，其特征在于，該方案具體包括以下步驟：

S1：獲取實(shí)際變電站環(huán)境信息，建立變電站環(huán)境模型；

S2：設(shè)計(jì)基于SARSA算法的變電站內(nèi)巡檢機(jī)器人路徑規(guī)劃方案；

S3：簡(jiǎn)述具體方案流程，并將其在變電站環(huán)境模型中進(jìn)行重復(fù)訓(xùn)練；

S4：通過(guò)仿真實(shí)例驗(yàn)證本發(fā)明所提方案的有效性。

3.根據(jù)權(quán)利要求2所述的變電站環(huán)境模型，其特征在于，利用柵格法對(duì)變電站環(huán)境進(jìn)行建模，將其抽象為的柵格圖，在變電站環(huán)境模型中，白色區(qū)域表示變電站內(nèi)的可通行道路，乘號(hào)區(qū)域表示障礙物，巡檢機(jī)器人、巡檢點(diǎn)位及充電倉(cāng)分別用五角星、加號(hào)和正五邊形表示。

4.根據(jù)權(quán)利要求2所述的基于SARSA算法的變電站內(nèi)巡檢機(jī)器人路徑規(guī)劃方案，其特征在于，設(shè)計(jì)基于SARSA算法的巡檢機(jī)器人路徑規(guī)劃方案，主要包括智能體、環(huán)境、狀態(tài)、動(dòng)作以及獎(jiǎng)賞的設(shè)計(jì)，其中，在獎(jiǎng)賞的設(shè)計(jì)過(guò)程中，當(dāng)巡檢機(jī)器人再次經(jīng)過(guò)已到達(dá)的巡檢點(diǎn)位時(shí)，無(wú)法重復(fù)獲得獎(jiǎng)勵(lì)值，從而引導(dǎo)巡檢機(jī)器人減少到達(dá)同一個(gè)巡檢點(diǎn)位的次數(shù)。

5.根據(jù)權(quán)利要求2所述的基于SARSA算法的變電站內(nèi)巡檢機(jī)器人路徑規(guī)劃具體方案流程，其特征在于，具體方案流程包括初始化階段、學(xué)習(xí)階段和終止階段，其中，在學(xué)習(xí)階段，巡檢機(jī)器人采用貪婪策略進(jìn)行動(dòng)作的選取，該策略使機(jī)器人得到的巡檢路徑更為保守，即巡檢路徑較短但不易與障礙物發(fā)生碰撞，由此大大延長(zhǎng)巡檢機(jī)器人的使用壽命。