[發(fā)明專利]用于機(jī)器人拾取系統(tǒng)的增強(qiáng)現(xiàn)實(shí)可視化技術(shù)

在審

• 申請(qǐng)?zhí)枺?/td>: 201980056091.1
• 申請(qǐng)日: 2019-06-26
• 公開(kāi)（公告）號(hào): CN112638593A
• 公開(kāi)（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 加內(nèi)什·卡爾巴維;德里克·榮格;里奧·克塞爾曼;M-R·讓;肯尼思·W·克勞斯;詹森·特賽
• 申請(qǐng)（專利權(quán)）人: 發(fā)納科美國(guó)公司
• 主分類號(hào): B25J9/16
• 分類號(hào): B25J9/16;B25J13/08;G05B19/04
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 王俠

1.一種使用增強(qiáng)現(xiàn)實(shí)技術(shù)來(lái)配置視覺(jué)跟蹤機(jī)器人拾取系統(tǒng)的系統(tǒng)，所述系統(tǒng)包括：

工作單元中的一個(gè)或多個(gè)機(jī)器人，每個(gè)機(jī)器人具有與該機(jī)器人通信的機(jī)器人控制器，所述控制器包括處理器和存儲(chǔ)器并且被配置有用于控制所述機(jī)器人的操作的機(jī)器人控制軟件；

增強(qiáng)現(xiàn)實(shí)(AR)裝置，與所述一個(gè)或多個(gè)機(jī)器人控制器通信，所述AR裝置具有一個(gè)或多個(gè)相機(jī)、多個(gè)位置跟蹤傳感器并具有顯示器，所述AR裝置還包括被配置為運(yùn)行機(jī)器人拾取系統(tǒng)可視化AR軟件應(yīng)用程序的處理器和存儲(chǔ)器；

其中，所述機(jī)器人拾取系統(tǒng)可視化AR軟件應(yīng)用程序提供的特征包括：

為所述一個(gè)或多個(gè)機(jī)器人中的每個(gè)提供初始邊界，所述邊界限制機(jī)器人拾取和放置操作空間；

建立并連續(xù)跟蹤所述AR裝置相對(duì)于工作單元坐標(biāo)系的位置和定向；

提供疊加在所述工作單元中的真實(shí)物品的相機(jī)圖像上的所述邊界和其他虛擬物品的AR顯示；

指示所述一個(gè)或多個(gè)機(jī)器人控制器模擬虛擬零件以供所述機(jī)器人拾取系統(tǒng)處理，其中，虛擬零件、真實(shí)零件或二者均能由所述機(jī)器人拾取系統(tǒng)處理；

接收來(lái)自用戶的邊界位置修改；

將所述邊界位置修改傳送到所述一個(gè)或多個(gè)機(jī)器人控制器；

從所述機(jī)器人控制器接收零件分配以及零件拾取和放置信息；以及

在所述AR顯示中顯示拾取系統(tǒng)性能參數(shù)。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述AR裝置是用戶佩戴的頭戴式設(shè)備或者用戶持有的移動(dòng)裝置。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括：脈沖編碼器裝置，配置為跟蹤所述機(jī)器人拾取系統(tǒng)中的每個(gè)傳送機(jī)的位置；以及相機(jī)或其他傳感器，配置為檢測(cè)每個(gè)傳送機(jī)上的所述真實(shí)零件的存在以及位置和定向。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，為所述一個(gè)或多個(gè)機(jī)器人中的每個(gè)提供初始邊界包括從單獨(dú)的機(jī)器人拾取系統(tǒng)設(shè)置應(yīng)用程序下載所述初始邊界或在所述機(jī)器人拾取系統(tǒng)可視化AR軟件應(yīng)用程序內(nèi)的默認(rèn)位置處建立所述初始邊界。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，建立所述AR裝置相對(duì)于所述工作單元坐標(biāo)系的位置和定向包括分析一個(gè)或多個(gè)視覺(jué)標(biāo)記的圖像，所述一個(gè)或多個(gè)視覺(jué)標(biāo)記具有已知設(shè)計(jì)并放置在所述工作單元坐標(biāo)系中的已知位置處。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述位置跟蹤傳感器包括一個(gè)或多個(gè)陀螺儀和一個(gè)或多個(gè)加速度計(jì)，其中，所述位置跟蹤傳感器向所述AR裝置中的所述處理器提供信號(hào)，從而能夠連續(xù)計(jì)算所述AR裝置的位置和定向中的變化。

7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，提供AR顯示包括：當(dāng)所述AR裝置在所述工作單元周圍移動(dòng)時(shí)，相對(duì)于所述真實(shí)物品的相機(jī)圖像以適當(dāng)?shù)某叽纭⑿螤詈臀恢脕?lái)顯示所述邊界和所述其他虛擬物品。

8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述其他虛擬物品包括所述虛擬零件、所述真實(shí)零件上的零件標(biāo)識(shí)符塊、真實(shí)零件上和虛擬零件上的零件信息標(biāo)志旗、三軸坐標(biāo)系以及相機(jī)位置和視場(chǎng)，所述其他虛擬物品的顯示基于從所述機(jī)器人控制器接收的零件分配以及零件拾取和放置信息而連續(xù)更新。

9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，指示所述一個(gè)或多個(gè)機(jī)器人控制器模擬虛擬零件包括由用戶選擇虛擬零件供應(yīng)速率和在入站傳送機(jī)上供應(yīng)到所述機(jī)器人拾取系統(tǒng)的所述虛擬零件的位置和定向的統(tǒng)計(jì)分布。

10.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，接收來(lái)自用戶的邊界位置修改包括：選擇要修改的邊界；使所述邊界在上游或下游方向上移動(dòng)用戶指定的距離；以及接受所述邊界位置修改，其中，選擇邊界、使所述邊界移動(dòng)和接收所述修改由用戶經(jīng)由基于AR的手勢(shì)、菜單命令或二者來(lái)執(zhí)行。

11.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，將所述邊界位置修改傳送到所述一個(gè)或多個(gè)機(jī)器人控制器包括由所述機(jī)器人控制器在計(jì)算機(jī)器人拾取和放置操作中使用所述邊界的修改位置。