[發(fā)明專(zhuān)利]機(jī)器人行為訓(xùn)練方法、裝置、系統(tǒng)、存儲(chǔ)介質(zhì)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201910028901.4
• 申請(qǐng)日: 2019-01-12
• 公開(kāi)（公告）號(hào): CN109760050A
• 公開(kāi)（公告）日: 2019-05-17
• 發(fā)明（設(shè)計(jì)）人: 何德裕
• 申請(qǐng)（專(zhuān)利權(quán)）人: 魯班嫡系機(jī)器人（深圳）有限公司
• 主分類(lèi)號(hào): B25J9/16
• 分類(lèi)號(hào): B25J9/16;B25J19/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本申請(qǐng)涉及一種機(jī)器人行為訓(xùn)練方法、裝置、系統(tǒng)、存儲(chǔ)介質(zhì)及機(jī)器人。其中，機(jī)器人行為訓(xùn)練方法包括：獲取執(zhí)行專(zhuān)家的行為過(guò)程中的決策數(shù)據(jù)；基于所述決策數(shù)據(jù)，對(duì)初始模型進(jìn)行訓(xùn)練得到預(yù)處理模型；基于所述預(yù)處理模型進(jìn)行自主學(xué)習(xí)，得到機(jī)器人行為模型。采用本發(fā)明的技術(shù)方案，提高了訓(xùn)練后的機(jī)器人模型行為動(dòng)作的適應(yīng)性和準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及機(jī)器人控制技術(shù)領(lǐng)域，特別是涉及一種機(jī)器人行為訓(xùn)練方法、裝置、系統(tǒng)、存儲(chǔ)介質(zhì)及設(shè)備。

背景技術(shù)

隨著科技水平的提高，整個(gè)社會(huì)都向著智能化、自動(dòng)化的方向發(fā)展。越來(lái)越多的行為依賴(lài)于機(jī)器人的實(shí)現(xiàn)。比如：通過(guò)機(jī)器人執(zhí)行抓取的動(dòng)作、裝配的動(dòng)作、帶動(dòng)目標(biāo)物運(yùn)動(dòng)等等的動(dòng)作行為。

人工智能為機(jī)器人未來(lái)發(fā)展帶來(lái)了無(wú)限的可能，通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，從而使得基于該網(wǎng)絡(luò)模型控制的機(jī)器人能夠自主的學(xué)習(xí)執(zhí)行各種動(dòng)作。

但是應(yīng)該看到基于機(jī)器學(xué)習(xí)的方法進(jìn)行機(jī)器人的行為訓(xùn)練學(xué)習(xí)，還存在對(duì)訓(xùn)練數(shù)據(jù)過(guò)于依賴(lài)、學(xué)習(xí)效果不好等等的問(wèn)題。

發(fā)明內(nèi)容

基于此，本發(fā)明提供一種機(jī)器人行為訓(xùn)練方法、裝置、系統(tǒng)、存儲(chǔ)介質(zhì)及設(shè)備。

本發(fā)明第一方面提供一種機(jī)器人行為訓(xùn)練方法，所述機(jī)器人行為訓(xùn)練方法包括：

獲取執(zhí)行專(zhuān)家的行為過(guò)程中的決策數(shù)據(jù)；其中，所述決策數(shù)據(jù)包括多個(gè)行為數(shù)據(jù)和對(duì)應(yīng)的觀測(cè)數(shù)據(jù)；

基于所述決策數(shù)據(jù)，進(jìn)行模型自主學(xué)習(xí)，得到機(jī)器人行為模型。

進(jìn)一步，所述基于所述決策數(shù)據(jù)，進(jìn)行模型自主學(xué)習(xí)，得到機(jī)器人行為模型包括：

基于所述決策數(shù)據(jù)，訓(xùn)練初始模型，得到預(yù)處理模型；

進(jìn)行所述預(yù)處理模型自主學(xué)習(xí)，得到所述機(jī)器人行為模型。

進(jìn)一步，所述基于所述決策數(shù)據(jù)，進(jìn)行模型自主學(xué)習(xí)，得到機(jī)器人行為模型包括：

基于所述決策數(shù)據(jù)，進(jìn)行初始模型自主學(xué)習(xí)，得到所述機(jī)器人行為模型。

進(jìn)一步，所述獲取執(zhí)行專(zhuān)家的行為過(guò)程中的決策數(shù)據(jù)包括：

獲取所述執(zhí)行專(zhuān)家的行為過(guò)程中的多個(gè)當(dāng)前時(shí)刻的行為數(shù)據(jù)；

獲取所述執(zhí)行專(zhuān)家的行為過(guò)程中第一傳感器發(fā)送的所述多個(gè)當(dāng)前時(shí)刻的所述觀測(cè)數(shù)據(jù)；其中，所述當(dāng)前時(shí)刻的行為數(shù)據(jù)與所述當(dāng)前時(shí)刻的觀測(cè)數(shù)據(jù)相對(duì)應(yīng)。

進(jìn)一步，所述獲取執(zhí)行專(zhuān)家的行為過(guò)程中的決策數(shù)據(jù)包括：

獲取所述執(zhí)行專(zhuān)家的行為過(guò)程中第二傳感器發(fā)送的多個(gè)當(dāng)前時(shí)刻所述行為數(shù)據(jù)的相關(guān)信息；

根據(jù)所述相關(guān)信息，得到多個(gè)上一時(shí)刻的所述行為數(shù)據(jù)；

獲取所述執(zhí)行專(zhuān)家的行為過(guò)程中第一傳感器發(fā)送的所述多個(gè)上一時(shí)刻的所述觀測(cè)數(shù)據(jù)；其中，所述上一時(shí)刻的所述行為數(shù)據(jù)與所述上一時(shí)刻的所述觀測(cè)數(shù)據(jù)相對(duì)應(yīng)。

進(jìn)一步，所述觀測(cè)數(shù)據(jù)包括：

圖像或根據(jù)所述圖像生成的機(jī)器人的位姿或位置數(shù)據(jù)、力反饋數(shù)據(jù)、驅(qū)動(dòng)單元的運(yùn)動(dòng)量反饋數(shù)據(jù)、測(cè)距數(shù)據(jù)、速度或加速度測(cè)量數(shù)據(jù)、電流或電壓測(cè)量數(shù)據(jù)、時(shí)間數(shù)據(jù)和/或溫度數(shù)據(jù)。

進(jìn)一步，所述行為數(shù)據(jù)包括：目標(biāo)位姿或位置、機(jī)器人的各個(gè)驅(qū)動(dòng)單元的運(yùn)動(dòng)量或機(jī)器人的運(yùn)動(dòng)量。

進(jìn)一步，所述行為包括：

從散裝物或規(guī)則擺放物中抓取目標(biāo)物；

裝配目標(biāo)物；

放置目標(biāo)物；和/或

從一個(gè)位置運(yùn)動(dòng)到另一位置。