[發(fā)明專利]通過機(jī)器人取出放置在三維空間中的物品的裝置及方法

有效

• 申請?zhí)枺?/td>: 201410613920.0
• 申請日: 2014-11-04
• 公開（公告）號: CN104608150A
• 公開（公告）日: 2015-05-13
• 發(fā)明（設(shè)計(jì)）人: 安藤俊之
• 申請（專利權(quán)）人: 發(fā)那科株式會(huì)社
• 主分類號: B25J19/00
• 分類號: B25J19/00
• 代理公司: 北京銀龍知識產(chǎn)權(quán)代理有限公司 11243
• 代理人: 許靜;李家浩

技術(shù)領(lǐng)域

本發(fā)明涉及一種識別放置在三維空間中的物品的位置以及姿勢，使用機(jī)器人取出所識別的物品的物品取出裝置以及物品取出方法。

背景技術(shù)

作為該類型的裝置，當(dāng)前已知的有：針對通過照相機(jī)拍攝放置在三位空間中的物品而得到的二維圖像或通過三位測定機(jī)進(jìn)行測定而得到的三維點(diǎn)集合，使用圖案匹配識別物品的位置的裝置。例如在日本特開2004-295223號公報(bào)(JP2004-295223A)以及日本特開2011-179909號公報(bào)(JP2011-179909A)中記載了這樣的裝置。此外，已知的還有：使用通過照相機(jī)拍攝放置在三位空間中的物品而得到的圖像數(shù)據(jù)，提取圖像中的物品的裝置。例如，在日本特開2010-039999號公報(bào)(JP2010-039999A)中記載了該裝置。

在JP2004-295223A所記載的裝置中，根據(jù)預(yù)先拍攝處于基準(zhǔn)三維相對姿勢的物品而得到的二維圖像來生成二維模型模式，對二維模型模式實(shí)施二維幾何學(xué)轉(zhuǎn)換來生成多個(gè)轉(zhuǎn)換二維模型模式，使用多個(gè)轉(zhuǎn)換二維模型模式針對物品的二維圖像進(jìn)行二維模式匹配。

在JP2011-179909A所記載的裝置中，事先根據(jù)CAD模型等取得物品的三維模型模式，另一方面通過三維測定機(jī)測定三維空間中的物品的表面來取得三維點(diǎn)集合(距離圖像)，在由從三維點(diǎn)集合提取的邊緣包圍的部分區(qū)域分割三維點(diǎn)集合。然后，最初設(shè)定部分區(qū)域的一個(gè)作為物品區(qū)域，通過反復(fù)進(jìn)行針對該物品區(qū)域的三維模型模式的匹配處理和將其他部分區(qū)域追加為物品區(qū)域的更新處理的兩個(gè)處理，測量物品位置以及姿勢。

在JP2010-039999A所記載的裝置中，通過照相機(jī)的拍攝動(dòng)作取得包含物品的區(qū)域的彩色圖像和距離圖像，并在顯示部顯示取得的圖像。當(dāng)用戶指示將該顯示圖像中的物品的一部分作為前景區(qū)域進(jìn)行時(shí)，根據(jù)彩色圖像的顏色信息和從距離圖像得到的距離信息，設(shè)定物品以外的區(qū)域作為背景區(qū)域，提取圖像中的物品。

然而，JP2004-295223A以及JP2011-179909A所記載的裝置需要預(yù)先生成每個(gè)物品-品種的二維模型模式或三維模型模式，因此需要工夫。尤其，當(dāng)物品為多品種時(shí)，需要生成與品種數(shù)量對應(yīng)的模型模式，因此需要較多的工夫。

此外，JP2010-039999A所記載的裝置為了提取圖像中的物品需要用戶的指示作業(yè)，因此需要工夫。尤其，當(dāng)物品為多品種時(shí)，需要與品種數(shù)量對應(yīng)的指示作業(yè)，因此需要較多的工夫。

發(fā)明內(nèi)容

作為本發(fā)明的一個(gè)方式的物品取出裝置，具備：機(jī)器人，其具有可保持物品的機(jī)械手；三維測定機(jī)，其測定放置在三維空間中的多個(gè)物品的表面位置，取得多個(gè)三維點(diǎn)的位置信息；照相機(jī)，其拍攝包括多個(gè)物品的區(qū)域，取得圖像數(shù)據(jù)；連接集合運(yùn)算部，其根據(jù)由三維測定機(jī)取得的多個(gè)三維點(diǎn)的位置信息以及由照相機(jī)取得的圖像數(shù)據(jù)，從多個(gè)三維點(diǎn)中求出連接相互在近旁的三維點(diǎn)而構(gòu)成的連接集合；物品確定部，其根據(jù)屬于連接集合的三維點(diǎn)的位置信息，確定物品的位置以及姿勢；機(jī)械手位置姿勢運(yùn)算部，其求出可取出由物品確定部確定的物品的機(jī)械手的位置以及姿勢即機(jī)械手位置姿勢；以及機(jī)器人控制部，其對機(jī)器人進(jìn)行控制，以便向由機(jī)械手位置姿勢運(yùn)算部求出的機(jī)械手位置姿勢移動(dòng)機(jī)械手來取出物品。連接集合運(yùn)算部具有：三維點(diǎn)選擇部，其從由三維測定機(jī)取得的多個(gè)三維點(diǎn)中選擇相互在近旁的第一三維點(diǎn)和第二三維點(diǎn)；梯度信息取得部，其根據(jù)由照相機(jī)取得的圖像數(shù)據(jù)，取得包含分別與第一三維點(diǎn)以所述第二三維點(diǎn)對應(yīng)的圖像上的點(diǎn)的部分圖像區(qū)域中的、表示物品表面的梯度狀態(tài)的圖像梯度信息；以及判定部，其根據(jù)第一三維點(diǎn)的位置信息、第二三維點(diǎn)的位置信息以及由梯度信息取得部取得的圖像梯度信息，判定第一三維點(diǎn)和第二三維點(diǎn)是否在相同物品上，當(dāng)通過判定部判定為第一三維點(diǎn)和第二三維點(diǎn)在相同物品上時(shí)，將第一三維點(diǎn)和第二三維點(diǎn)包括在相同的連接集合中。