[發(fā)明專(zhuān)利]基于好奇心-貪婪獎(jiǎng)勵(lì)函數(shù)的機(jī)器人路徑規(guī)劃的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110236703.4
• 申請(qǐng)日: 2021-03-03
• 公開(kāi)（公告）號(hào): CN113156940B
• 公開(kāi)（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 李躍;劉志勇;姚宇龍;段桂英
• 申請(qǐng)（專(zhuān)利權(quán)）人: 河北工業(yè)職業(yè)技術(shù)學(xué)院
• 主分類(lèi)號(hào): G05D1/02
• 分類(lèi)號(hào): G05D1/02
• 代理公司: 石家莊開(kāi)言知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 13127
• 代理人: 李志民

1.一種基于好奇心-貪婪獎(jiǎng)勵(lì)函數(shù)的機(jī)器人路徑規(guī)劃的方法，其特征是：所述規(guī)劃方法包括貪心獎(jiǎng)勵(lì)模塊(2)、好奇心獎(jiǎng)勵(lì)模塊(5)和獎(jiǎng)勵(lì)融合模塊(7)；所述好奇心獎(jiǎng)勵(lì)模塊讓機(jī)器人在探索過(guò)程中擁有一種好奇心驅(qū)動(dòng)，隨著對(duì)環(huán)境的熟悉程度動(dòng)態(tài)調(diào)整探索策略，主動(dòng)去探索不熟悉的區(qū)域，獲取好奇心獎(jiǎng)勵(lì)值(12)；所述貪心獎(jiǎng)勵(lì)模塊根據(jù)機(jī)器人的工作環(huán)境，豐富環(huán)境中的有效獎(jiǎng)勵(lì)空間，讓機(jī)器人能更快的探索到有效信息，避開(kāi)障礙物區(qū)域，向目標(biāo)區(qū)域靠攏，引導(dǎo)機(jī)器人進(jìn)入正確的探索方向，獲取貪心獎(jiǎng)勵(lì)值(15)；所述獎(jiǎng)勵(lì)融合模塊對(duì)貪心獎(jiǎng)勵(lì)模塊、好奇心獎(jiǎng)勵(lì)模塊進(jìn)行合理的獎(jiǎng)勵(lì)融合產(chǎn)生融合獎(jiǎng)勵(lì)值(16)，讓機(jī)器人懷著好奇心探索工作環(huán)境的同時(shí)，貪心的向任務(wù)點(diǎn)靠近，在不同的規(guī)劃階段得到更準(zhǔn)確有效的獎(jiǎng)勵(lì)值，提升機(jī)器人路徑規(guī)劃能力；所述好奇心獎(jiǎng)勵(lì)模塊(5)包括好奇心獎(jiǎng)勵(lì)模型(6)和智能體(4)；所述好奇心獎(jiǎng)勵(lì)模型(6)包括好奇心產(chǎn)生器(11)、好奇心產(chǎn)生器模型和好奇心獎(jiǎng)勵(lì)值計(jì)算函數(shù)；所述好奇心產(chǎn)生器(11)表達(dá)式為Q(S_t,S_t+1,a_t|θ^Q)，其中：a_t為當(dāng)前動(dòng)作，S_t為當(dāng)前狀態(tài)，S_t+1為下一時(shí)刻的狀態(tài)，θ^Q為好奇心產(chǎn)生器的網(wǎng)絡(luò)參數(shù)；定義為智能體在當(dāng)前狀態(tài)下預(yù)測(cè)其自身行為后果的誤差，在給定當(dāng)前狀態(tài)S_t和采取的行動(dòng)a_t的情況下預(yù)測(cè)下一個(gè)狀態(tài)S_t+1；所述獎(jiǎng)勵(lì)融合模塊(7)將機(jī)器人的工作環(huán)境拆分為任務(wù)子環(huán)境(8)、危險(xiǎn)子環(huán)境(9)和無(wú)效子環(huán)境(10)，機(jī)器人在不同的子環(huán)境動(dòng)態(tài)調(diào)整好奇心獎(jiǎng)勵(lì)模塊(5)和貪心獎(jiǎng)勵(lì)模塊(2)所占比重，合理全面執(zhí)行軌跡規(guī)劃任務(wù)；所述獎(jiǎng)勵(lì)融合模塊(7)根據(jù)三個(gè)子自環(huán)境的特性，確定獎(jiǎng)勵(lì)權(quán)重向量，權(quán)重向量如下：

式中：

EoR為機(jī)器人末端執(zhí)行裝置所在位置，λ_fusion為融合獎(jiǎng)勵(lì)參數(shù)，λ_curiosity為好奇心獎(jiǎng)勵(lì)參數(shù)，λ_greed為貪婪獎(jiǎng)勵(lì)參數(shù)，dEO為機(jī)器人末端執(zhí)行裝置與障礙物之間的相對(duì)距離，dET為機(jī)器人末端執(zhí)行裝置與目標(biāo)之間的相對(duì)距離，dwaring為相對(duì)危險(xiǎn)距離，dgoal為目標(biāo)吸引距離；

結(jié)合獎(jiǎng)勵(lì)權(quán)重向量，得出獎(jiǎng)勵(lì)融合公式如下：

R_fusion為融合獎(jiǎng)勵(lì)值，λ_fusion為融合獎(jiǎng)勵(lì)參數(shù)，R_whole為融合獎(jiǎng)勵(lì)函數(shù)，λ_curiosity為好奇心獎(jiǎng)勵(lì)參數(shù)，λ_greed為貪婪獎(jiǎng)勵(lì)參數(shù)，r_curiosity為好奇心獎(jiǎng)勵(lì)值，r_greed為貪婪獎(jiǎng)勵(lì)值。

2.根據(jù)權(quán)利要求1所述的基于好奇心-貪婪獎(jiǎng)勵(lì)函數(shù)的機(jī)器人路徑規(guī)劃的方法，其特征是：所述貪心獎(jiǎng)勵(lì)模塊(2)包括工作環(huán)境(1)和貪心獎(jiǎng)勵(lì)模型(3)所述工作環(huán)境包含障礙物；所述貪心獎(jiǎng)勵(lì)模型(3)包括貪心獎(jiǎng)勵(lì)函數(shù)，所述貪心獎(jiǎng)勵(lì)函數(shù)依據(jù)高斯混合模型建立；所述高斯混合模型由多個(gè)高斯模型線性疊加混合而成，所述高斯混合模型公式如下：

式中：P(x)為高斯混合模型概率密度函數(shù)，K為高斯生成器的個(gè)數(shù)，k為第k個(gè)高斯生成器，π_k為每個(gè)生成器在高斯混合模型中所占的比例；式中：

其中：μ是期望值，Σ是協(xié)方差矩陣，Σ^-1是協(xié)方差矩陣的逆矩陣；

貪心獎(jiǎng)勵(lì)函數(shù)公式如下：

其中：

r_greed為貪心獎(jiǎng)勵(lì)值；

N(x|μ_k,Σ_k)為第k個(gè)高斯分模型。

3.根據(jù)權(quán)利要求2所述的基于好奇心-貪婪獎(jiǎng)勵(lì)函數(shù)的機(jī)器人路徑規(guī)劃的方法，其特征是：所述高斯混合模型建立后，機(jī)器人在障礙物和目標(biāo)之間分別形成小范圍的獎(jiǎng)勵(lì)，貪心獎(jiǎng)勵(lì)空間(3)離目標(biāo)點(diǎn)越來(lái)越近，貪心獎(jiǎng)勵(lì)空間中的獎(jiǎng)勵(lì)值會(huì)逐漸增大；機(jī)器人越接近障礙物會(huì)得到更多的障礙物獎(jiǎng)勵(lì)空間的負(fù)獎(jiǎng)勵(lì)。