[發(fā)明專利]面向雜質性目標的機器人操作協同抓取方法、系統及設備

有效

• 申請?zhí)枺?/td>: 202110290232.5
• 申請日: 2021-03-16
• 公開（公告）號: CN113001552B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設計）人: 魯濤;盧寧;蔡瑩皓;王碩
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06V10/46;G06T1/00;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發(fā)明屬于機器人領域，具體涉及了一種面向雜質性目標的機器人操作協同抓取方法、系統及設備，旨在解決現有雜質目標抓取過程中難以適應動態(tài)環(huán)境的問題。本發(fā)明包括：根據視覺傳感器獲得工作區(qū)域的初始彩色圖像和初始深度圖像，分別提取第一圖像、第二圖像；所述第一圖像為目標可見情況下的局部掩膜圖像，所述第二圖像為目標不可見情況下最大物體聚集區(qū)域的局部全一掩膜圖像；利用所述第一圖像或所述第二圖像，采用操作動作協調機制，利用預構建的操作動作原語策略網絡獲取輸出動作；機器人基于所述輸出動作轉化的控制指令進行動作。本發(fā)明可實現密集雜亂環(huán)境下雜質性目標的魯棒抓取，并且不需要龐大的訓練數據，能夠適應動態(tài)環(huán)境。

技術領域

本發(fā)明屬于機器人領域，具體涉及了一種面向雜質性目標的機器人操作協同抓取方法、系統及設備。

背景技術

機器人抓取操作在工業(yè)生產、家庭服務、醫(yī)療健康、太空探索等領域有廣泛的應用。然而受到物體形態(tài)、材質、環(huán)境動態(tài)性等復雜因素的影響，如何進行智能化地抓取仍是機器人領域面臨的一個具有挑戰(zhàn)性的問題。

目前機器人抓取操作技術研究可以分為單一技能抓取操作技術和多技能協同抓取操作技術兩大類。機器人單一技能抓取操作，即傳統的直接抓取操作，是指通過對抓取目標或抓取場景的分析，控制機械臂末端機械手完成對物體的抓取。但在密集場景下，物體之間間隙很小且相互遮擋，抓取動作由于受到周邊物體的影響而難以實施。機器人多技能協同抓取操作是指機器人通過多種操作動作(包括抓取、推動、滑動、吸取等)的組合實現抓取目的。該方式通過多種動作技能的組合改變雜亂密集場景中物體的分布，為更有效率的抓取提供條件，可大大提高機器人抓取操作的成功率以及對環(huán)境的適應能力。

在工業(yè)生產領域，雜質物體的挑揀一直由人工完成，費時費力且難以獲得滿意的效果?，F有的機器人抓取操作雖然可以針對目標開展抓取，但存在訓練數據龐大、難以適應動態(tài)環(huán)境等問題。

發(fā)明內容

為了解決現有技術中的上述問題，即為了解決現有雜質目標抓取過程中難以適應動態(tài)環(huán)境的問題，本發(fā)明提供了一種面向雜質性目標的機器人操作協同抓取方法，該方法包括：

步驟S100，根據視覺傳感器獲得工作區(qū)域的初始彩色圖像和初始深度圖像，分別提取第一圖像、第二圖像；所述第一圖像為目標可見情況下的局部掩膜圖像，所述第二圖像為目標不可見情況下最大物體聚集區(qū)域的局部全一掩膜圖像；

步驟S200，利用所述第一圖像或所述第二圖像，采用操作動作協調機制，利用預構建的操作動作原語策略網絡獲取輸出動作；

步驟S300，機器人基于所述輸出動作轉化的控制指令進行動作。

在一些優(yōu)選的實施方式中，所述第一圖像，其提取方法為：

基于所述彩色圖像，采用顯著性檢測算法，獲取圖像中顯著性數值大于或等于設定閾值的區(qū)域，輸出以最大區(qū)域為中心的局部掩膜圖像。

在一些優(yōu)選的實施方式中，所述第二圖像，其提取方法為：

基于所述深度圖像，采用密度估計算法，檢測工作平面中的物體聚集區(qū)域的設定類別的幾何信息大于或等于設定閾值的區(qū)域，輸出以最大區(qū)域為中心的局部全一掩膜圖像。

在一些優(yōu)選的實施方式中，所述設定類別的幾何信息包括面積和高度；

設定類別的幾何信息大于或等于設定閾值的區(qū)域，為面積大于或等于面積閾值且最大高度大于或等于高度閾值的區(qū)域。

在一些優(yōu)選的實施方式中，所述操作動作原語策略網絡采用全卷積神經網絡架構；輸入為第三圖像、第四圖像，所述第三圖像、第四圖像分別為同等大小的彩色圖像、深度圖像；輸出為相同尺寸的Q值表；操作動作原語策略網絡的訓練采用深度強化學習算法DQN進行，當動作執(zhí)行成功率超過設定閾值時，策略網絡學習停止。