[發明專利]一種仿人機械手抓取控制系統及其數據處理方法

有效

• 申請號: 201810650621.2
• 申請日: 2018-06-22
• 公開（公告）號: CN108972494B
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 巢婭;肖南峰
• 申請（專利權）人: 華南理工大學
• 主分類號: B25J3/00
• 分類號: B25J3/00;B25J9/16
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種仿人機械手抓取控制系統及其數據處理方法，包括：設備模塊，包括21自由度五指仿人機械手、6自由度機械臂、數據手套、攝像頭、虛擬手仿真平臺；數據獲取模塊，主要負責采集圖片和數據手套數據；數據處理模塊，主要負責對采集到的圖片和數據進行分析和處理，其中包括待抓取物體識別模塊和抓取方案生成模塊；控制模塊，用于控制機械臂和五指仿人進行物體抓取，其中包括指令直接控制和數據手套在線控制。本發明將深度學習目標識別與五指仿人機械手抓取控制相結合，借助仿真虛擬手可及時展示仿人機械手抓取控制效果，使抓取控制更智能和直觀。

技術領域

本發明涉及深度學習和仿人機械手抓取的技術領域，尤其是指一種仿人機械手抓取控制系統及其數據處理方法。

背景技術

仿人機械手出現迄今已有50多年的發展歷史，但其實用化至今仍然存在著許多挑戰，還必須要進一步地攻克整個仿人機械手在機構、模型、觸覺、控制、示教、交互、協調、作業中存在的一系列關鍵難題。目前，大多數機器人的機械手都是針對特定作業設計的，它們均存在著靈活性和適應性及精密性等較差的缺點。因此，需要研制出一種能像人手及手臂一樣完成高端和靈巧及精密作業的仿人機械手。對于仿人機械手而言，其最主要的功能是輔助人手在復雜環境中完成對目標物體的一系列作業任務，抓取是仿人機械手最基本的功能。傳統的仿人機械手的常用控制方法需要先對它們的運動和作業進行軌跡規劃，在抓取作業中需要提前獲得目標物體的三維模型，或者基于目標模板匹配的方式規劃抓取姿態，這導致仿人機器人在非結構環境下的自主抓取能力不足。研究出一種基于視覺且能在非機構化環境下實現的仿人機械手自主抓取技術是非常必要的，這對于提升機器人作業能力，人機交互能力都是十分重要的。

目前，智能機器人的作業控制方法研究主要集中在仿人機械手的功能和協作方面。實際上，許多國家一直都在開展仿人機械手研究，希望用其代替傳統的末端夾持器和工業機械臂在高端、繁重、惡劣、危險環境中完成等各種復雜的生產或服務。如日本就開發了三指仿人機械手Okada，猶他大學與MIT聯合開發了Utah/MIT 4指仿人機械手，以及Stanford/JPL手、UB-Ⅱ手、Robonaut手等。近年來仿人機械手在靈巧程度和觸覺感知上有了更大的改進，如Shadow公司開發的24自由度的Shadow手；日本Gifu大學以人形機器人和康復醫療為需求背景研制的Gifu-Ⅱ手；Barrett公司的BH8系列三指機械手。此外，越來越多的仿人機械手投入商用尤其是醫學的助殘領域，這類仿人機械手的靈活度更大，且手指的觸覺感知功能更強，能夠很好地配合人完成人手的部分功能動作。如最早投入商用的由蘇格蘭公司Touch Bionicsi公司制造的LIMB手和LIMBplus手；Vincent公司推出了Vincent手，能夠輔助人完成人手動作。

隨著近年來機器學習和深度學習算法的廣泛應用，基于視覺的仿人機械手抓取研究逐漸從抓取規劃算法研究轉換為對視覺圖像中目標物體檢測算法研究。傳統的目標物體檢測算法一般基于3D立體視覺和一些機器學習的分類算法，而深度卷積神經網絡如AlexNet、ResNet、LeNet、VGGNet等對目標良好的分類能力使其被廣泛應用于視覺計算當中。目前的一些神經網絡的分類能力甚至超過人類的識別能力。將深度學習引入仿人機械手抓取研究中，很好地解決了目標圖像的特征提取問題，其可以自動提取抓取目標特征并判斷待抓取物體類別。此外，神經網絡還可用于目標最優抓取區域的判斷，優化仿人機械手對于目標的抓取方式，使得仿人機械手的抓取更加智能化和合理化。深度學習精準的目標識別和定位能力，配合機械臂帶動五指仿人機械手運動到目標位置處，配合數據手套控制仿人機械手則可以實現對仿人機械手的遠程在線抓取操控。這對于在復雜環境下操控仿人機械手完成人所不能完成的抓取任務提供了可能性，對于機器人的自主抓取領域研究具有重要意義。

發明內容