[發(fā)明專利]一種對(duì)空間目標(biāo)實(shí)施抓捕的方法、裝置和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010526883.5
• 申請(qǐng)日: 2020-06-11
• 公開（公告）號(hào): CN111687840B
• 公開（公告）日: 2021-10-29
• 發(fā)明（設(shè)計(jì)）人: 張濤;李少朋;王圣杰
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 鄭紅娟;宋志強(qiáng)

1.一種對(duì)空間目標(biāo)實(shí)施抓捕的方法，其特征在于，包括：

獲取抓捕裝置的初始狀態(tài)信息，所述初始狀態(tài)信息包括表示抓捕裝置在初始動(dòng)作狀態(tài)下的環(huán)境狀態(tài)信息和動(dòng)作屬性信息；

將所述初始狀態(tài)信息和所述抓捕裝置所要接近的空間目標(biāo)的位置信息輸入預(yù)先訓(xùn)練的第一移動(dòng)狀態(tài)優(yōu)化模型，其中，所述第一移動(dòng)狀態(tài)優(yōu)化模型用于表示在所述抓捕裝置和所述空間目標(biāo)之間的相對(duì)位姿固定時(shí)，所述抓捕裝置的所述動(dòng)作屬性信息和所述空間目標(biāo)的所述位置信息之間的移動(dòng)關(guān)系；

通過所述第一移動(dòng)狀態(tài)優(yōu)化模型確定所述抓捕裝置的最優(yōu)移動(dòng)信息，以及，將所述抓捕裝置的所述初始狀態(tài)信息輸入第二移動(dòng)狀態(tài)優(yōu)化模型，并生成在每個(gè)所述抓捕裝置的可行進(jìn)位置信息的階段最優(yōu)移動(dòng)信息，其中，所述第二移動(dòng)狀態(tài)優(yōu)化模型表示在所述抓捕裝置和所述空間目標(biāo)之間的相對(duì)位姿不固定時(shí)，所述抓捕裝置的所述動(dòng)作屬性信息和所述空間目標(biāo)的所述位置信息之間的移動(dòng)關(guān)系，并按照所述最優(yōu)移動(dòng)信息，或所述階段最優(yōu)移動(dòng)信息移動(dòng)所述抓捕裝置對(duì)所述空間目標(biāo)進(jìn)行抓捕；其中，所述最優(yōu)移動(dòng)信息包括所述第一移動(dòng)狀態(tài)優(yōu)化模型輸出的所述抓捕裝置接近所述空間目標(biāo)并進(jìn)行抓捕的移動(dòng)速度、關(guān)節(jié)角速度、需要移動(dòng)的力矩和需要移動(dòng)的距離。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述將所述初始狀態(tài)信息和所述抓捕裝置所要接近的空間目標(biāo)的位置信息輸入預(yù)先訓(xùn)練的第一移動(dòng)狀態(tài)優(yōu)化模型的步驟之前，所述方法進(jìn)一步包括所述第一移動(dòng)狀態(tài)優(yōu)化模型的訓(xùn)練步驟：

獲取所述抓捕裝置的樣本狀態(tài)信息，所述樣本狀態(tài)信息包括表示抓捕裝置在至少一個(gè)時(shí)刻下的樣本環(huán)境狀態(tài)信息和樣本動(dòng)作屬性信息；

基于所述抓捕裝置在當(dāng)前時(shí)刻下的所述樣本動(dòng)作屬性信息和在前一時(shí)刻下的所述樣本動(dòng)作屬性信息，生成所述抓捕裝置在當(dāng)前時(shí)刻的移動(dòng)關(guān)系函數(shù)；

基于所述抓捕裝置在當(dāng)前時(shí)刻下的所述樣本環(huán)境狀態(tài)信息和在前一時(shí)刻下的所述樣本環(huán)境狀態(tài)信息，生成所述抓捕裝置在當(dāng)前時(shí)刻的狀態(tài)轉(zhuǎn)移函數(shù)；

根據(jù)所述移動(dòng)關(guān)系函數(shù)和所述狀態(tài)轉(zhuǎn)移函數(shù)，確定所述第一移動(dòng)狀態(tài)優(yōu)化模型的第一獎(jiǎng)勵(lì)函數(shù)，并基于所述第一獎(jiǎng)勵(lì)函數(shù)對(duì)所述第一移動(dòng)狀態(tài)優(yōu)化模型進(jìn)行優(yōu)化，以完成所述第一移動(dòng)狀態(tài)優(yōu)化模型的訓(xùn)練。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述確定所述第一移動(dòng)狀態(tài)優(yōu)化模型的第一獎(jiǎng)勵(lì)函數(shù)的步驟包括：

基于所述抓捕裝置在當(dāng)前時(shí)刻下的所述狀態(tài)轉(zhuǎn)移函數(shù)和所述移動(dòng)關(guān)系函數(shù)，以及在后一時(shí)刻下的所述狀態(tài)轉(zhuǎn)移函數(shù)生成每個(gè)時(shí)刻下的單個(gè)獎(jiǎng)勵(lì)函數(shù)；

根據(jù)所述每個(gè)時(shí)刻下的所述單個(gè)獎(jiǎng)勵(lì)函數(shù)，確定累計(jì)獎(jiǎng)勵(lì)函數(shù)作為所述第一移動(dòng)狀態(tài)優(yōu)化模型的所述第一獎(jiǎng)勵(lì)函數(shù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述確定累計(jì)獎(jiǎng)勵(lì)函數(shù)作為所述第一移動(dòng)狀態(tài)優(yōu)化模型的所述第一獎(jiǎng)勵(lì)函數(shù)的步驟包括：

基于所述第一獎(jiǎng)勵(lì)函數(shù)、所述狀態(tài)轉(zhuǎn)移函數(shù)和所述移動(dòng)關(guān)系函數(shù)生成所述第一移動(dòng)狀態(tài)優(yōu)化模型的狀態(tài)優(yōu)化函數(shù)和狀態(tài)動(dòng)作優(yōu)化函數(shù)，其中，所述狀態(tài)優(yōu)化函數(shù)用于評(píng)估當(dāng)前環(huán)境狀態(tài)信息的優(yōu)劣，以及所述狀態(tài)動(dòng)作優(yōu)化函數(shù)用于評(píng)估當(dāng)前樣本環(huán)境狀態(tài)信息和樣本動(dòng)作屬性信息間關(guān)聯(lián)信息的優(yōu)劣；

對(duì)所述狀態(tài)優(yōu)化函數(shù)采用最小化均方貝爾曼誤差的方式更新參數(shù)，以及對(duì)所述狀態(tài)動(dòng)作優(yōu)化函數(shù)采用確定性策略梯度更新參數(shù)，分別獲取最優(yōu)狀態(tài)優(yōu)化函數(shù)和最優(yōu)狀態(tài)動(dòng)作優(yōu)化函數(shù)；

通過所述最優(yōu)狀態(tài)優(yōu)化函數(shù)和所述最優(yōu)狀態(tài)動(dòng)作優(yōu)化函數(shù)確定所述累計(jì)獎(jiǎng)勵(lì)函數(shù)的最優(yōu)值，并作為所述第一移動(dòng)狀態(tài)優(yōu)化模型的所述第一獎(jiǎng)勵(lì)函數(shù)。