[發(fā)明專(zhuān)利]機(jī)器人控制裝置、方法和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011132122.8
• 申請(qǐng)日: 2020-10-21
• 公開(kāi)（公告）號(hào): CN112757284A
• 公開(kāi)（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 和田悠基;鳥(niǎo)井原茂
• 申請(qǐng)（專(zhuān)利權(quán)）人: 佳能株式會(huì)社
• 主分類(lèi)號(hào): B25J9/16
• 分類(lèi)號(hào): B25J9/16
• 代理公司: 北京魏?jiǎn)W(xué)律師事務(wù)所 11398
• 代理人: 魏?jiǎn)W(xué)

本發(fā)明涉及機(jī)器人控制裝置、方法和存儲(chǔ)介質(zhì)。本發(fā)明提供一種機(jī)器人控制裝置，用于控制被配置為進(jìn)行預(yù)定操作的機(jī)器人，其中機(jī)器人控制裝置包括：獲取單元，其被配置為獲取由包括第一攝像裝置和與所述第一攝像裝置不同的第二攝像裝置的多個(gè)攝像裝置拍攝的多個(gè)圖像；以及指定單元，其被配置為使用由所述獲取單元獲取到的多個(gè)拍攝圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，并且被配置為基于來(lái)自神經(jīng)網(wǎng)絡(luò)的作為結(jié)果的輸出來(lái)指定針對(duì)所述機(jī)器人的控制命令。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器人控制裝置、方法和存儲(chǔ)介質(zhì)。

背景技術(shù)

在工廠自動(dòng)化(FA)領(lǐng)域中，已經(jīng)引起了人們對(duì)使用機(jī)器人臂的工廠中的操作自動(dòng)化的關(guān)注。使用機(jī)器人臂的任務(wù)的示例是拾取-放置操作。為了實(shí)現(xiàn)拾取-放置操作，需要?jiǎng)?chuàng)建被稱(chēng)為教導(dǎo)的用于控制機(jī)器人臂的程序。教導(dǎo)主要是以下處理：用2D或3D照相機(jī)拍攝工件，通過(guò)計(jì)算機(jī)視覺(jué)(Computer Vision)估計(jì)位置和形狀，并將機(jī)器人臂控制成處于特定的位置和姿勢(shì)(例如，專(zhuān)利文獻(xiàn)1：日本特開(kāi)2017-124450)。其中，估計(jì)位置和形狀特別需要試驗(yàn)和錯(cuò)誤，因此需要工時(shí)。然而，在工廠的實(shí)際現(xiàn)場(chǎng)中，存在具有各種形狀的工件，因此需要針對(duì)各工件進(jìn)行教導(dǎo)，并且諸如批量裝載等的復(fù)雜任務(wù)使得教導(dǎo)更加困難。近年來(lái)，由于AI繁榮的到來(lái)，存在將AI用于機(jī)器人臂控制的技術(shù)。一個(gè)示例是非專(zhuān)利文獻(xiàn)1，“LearningHand-Eye Coordination for Robotic Grasping with Deep Learning(Google)”。

然而，在專(zhuān)利文獻(xiàn)1中，通過(guò)匹配3D模型來(lái)進(jìn)行位置和姿勢(shì)估計(jì)，但是需要使用相對(duì)昂貴的3D照相機(jī)以高精度地獲取工件的位置和姿勢(shì)信息。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的第一方面，提供一種機(jī)器人控制裝置，用于控制被配置為進(jìn)行預(yù)定操作的機(jī)器人，所述機(jī)器人控制裝置包括：獲取單元，其被配置為獲取由多個(gè)攝像裝置拍攝的多個(gè)圖像，所述多個(gè)攝像裝置包括第一攝像裝置和與所述第一攝像裝置不同的第二攝像裝置；以及指定單元，其被配置為使用由所述獲取單元獲取到的多個(gè)拍攝圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，并且被配置為基于來(lái)自神經(jīng)網(wǎng)絡(luò)的作為結(jié)果的輸出來(lái)指定針對(duì)所述機(jī)器人的控制命令。

根據(jù)本發(fā)明的第二方面，提供一種機(jī)器人控制裝置的控制方法，所述機(jī)器人控制裝置用于控制被配置為進(jìn)行預(yù)定操作的機(jī)器人，所述控制方法包括：獲取由多個(gè)攝像裝置拍攝的多個(gè)圖像，所述多個(gè)攝像裝置包括第一攝像裝置和與所述第一攝像裝置不同的第二攝像裝置；以及使用在所述獲取中獲取到的多個(gè)拍攝圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，并且基于來(lái)自神經(jīng)網(wǎng)絡(luò)的作為結(jié)果的輸出來(lái)指定針對(duì)所述機(jī)器人的控制命令。

根據(jù)本發(fā)明的第三方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)有程序，所述程序在由計(jì)算機(jī)讀取并執(zhí)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行機(jī)器人控制裝置的控制方法的步驟，所述機(jī)器人控制裝置用于控制被配置為進(jìn)行預(yù)定操作的機(jī)器人，所述控制方法包括：獲取由多個(gè)攝像裝置拍攝的多個(gè)圖像，所述多個(gè)攝像裝置包括第一攝像裝置和與所述第一攝像裝置不同的第二攝像裝置；以及使用在所述獲取中獲取到的多個(gè)拍攝圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，并且基于作為來(lái)自神經(jīng)網(wǎng)絡(luò)的結(jié)果的輸出指定針對(duì)所述機(jī)器人的控制命令。

根據(jù)本發(fā)明，通過(guò)提供可以從2D視頻圖像的輸入進(jìn)行機(jī)器人控制的神經(jīng)網(wǎng)絡(luò)，可以由機(jī)器人以直觀且簡(jiǎn)單的配置進(jìn)行預(yù)定的操作。

通過(guò)以下(參考附圖)對(duì)典型實(shí)施例的描述，本發(fā)明的其它特征將變得明顯。

附圖說(shuō)明

圖1是根據(jù)實(shí)施例的被配置為進(jìn)行神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)的控制裝置的框圖。

圖2是實(shí)際機(jī)器人、攝像裝置以及被配置為對(duì)其進(jìn)行控制的控制裝置的框圖。

圖3是示出模擬器上的機(jī)器人或?qū)嶋H機(jī)器人的結(jié)構(gòu)的示意圖。

圖4A和圖4B是示出由攝像裝置拍攝的圖像的示例的圖。

圖5是示出根據(jù)實(shí)施例的機(jī)器人要進(jìn)行的強(qiáng)化學(xué)習(xí)的處理的示意圖。