[發明專利]一種非特定形狀物體識別、定位與機械手抓取系統及方法

在審

• 申請號: 202210384412.4
• 申請日: 2022-04-13
• 公開（公告）號: CN114758236A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 夏珉;許晗;李正泳;馬宇霆
• 申請（專利權）人: 華中科技大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/26;G06V10/20;G06V10/44;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢華之喻知識產權代理有限公司 42267
• 代理人: 王世芳;梁鵬

本發明提供了一種非特定形狀物體識別、定位與機械手抓取系統及方法，屬于機械手抓取領域，系統包括多自由度機械手、機器視覺成像模塊和中央處理模塊，多自由度機械手與中央處理模塊相連接，機器視覺成像模塊與中央處理模塊相連接，以將采集的圖像數據傳輸給中央處理模塊，中央處理模塊對圖像數據進行處理，提取目標輪廓，并根據目標輪廓結合標定后的物空間尺寸與像空間像素數量映射關系實現對每個目標的外形尺寸的測量，還用于采用深度神經網絡模型依據目標外形尺寸對目標進行分類，以控制多自由度機械手對目標進行識別、定位和拾取。本發明還提供了對目標進行識別、定位和拾取的方法。本發明方法和系統適應性強，能對目標進行靈活拾取。

技術領域

本發明屬于機械手抓取領域，更具體地，涉及一種非特定形狀物體識別、定位與機械手的抓取系統及方法。

背景技術

近年來互聯網技術發展迅速，自動化已成為工業生產中的主流。傳統的人工生產已漸漸消失在視野中，新興的工業機器人等更先進的生產設備邁入人們的視野。而對于零件生產這一行業，許多問題隨之而來。全自動化的生產線，在面對不同種類的零件時該如識別？機械手該如何抓?。?/p>

目前，工業產線自動化的傳統機械手進行物體抓取時，需要事先對待抓取目標的特征進行分析、編程，再配合機器視覺系統實現對特定目標的位置定位，最終指導機械手完成抓取過程。而且，現有技術中，視覺識別的算法只針對某些特點的零件，還無法做到完全對隨機物體的識別，而且系統在坐標的計算上存在一定的投影誤差，導致機械手在抓取物體的時候有著幾毫米左右的誤差。此外，機械手抓取的策略并未做到最佳，機械手在抓取過程中還存在一些多余的動作，因此抓取效率并不是很高。機械手在抓取物體的時候，會有著不理想的抓取姿勢，從而使得抓取出現錯誤而導致機械手停止。機械手對抓取的物體有著大小的限制，所抓的物體既不能太大也不能太小。機械手在抓取物體的時候偶爾會有抓不穩導致物體掉下來的情況。

針對現有技術的以上缺陷，需要開發一種用于機械手的非特定形狀物體識別、定位與抓取系統及方法。

發明內容

針對現有技術的缺陷，本發明的目的在于提供一種非特定形狀物體識別、定位與機械手抓取系統及方法，通過結合深度神經網絡學習實現目標的自動判斷和分類，并引導機械手實現對一定范圍內位置隨機的目標進行拾取，旨在解決現有技術中機械手的抓取不夠靈活、適應性不足的問題。

為實現上述目的，本發明提供了一種非特定形狀物體識別、定位與機械手抓取系統，其包括多自由度機械手、機器視覺成像模塊和中央處理模塊，其中，

多自由度機械手包括卡爪或/和吸嘴，多自由度機械手與中央處理模塊相連接，以受中央處理模塊控制，根據中央處理模塊給出的平面運動坐標和目標外圍尺寸執行對目標的拾取，

機器視覺成像模塊包括工業相機和成像鏡頭，機器視覺成像模塊與中央處理模塊相連接，以將自身采集的圖像數據傳輸給中央處理模塊，

中央處理模塊用于接收機器視覺成像模塊采集的圖像數據，對圖像數據進行處理，提取目標輪廓，并根據目標輪廓結合標定后的物空間尺寸與像空間像素數量映射關系實現對每個目標的外形尺寸的測量，還用于采用深度神經網絡模型依據目標外形尺寸對目標進行分類，進而指導并控制多自由度機械手對目標進行識別、定位和拾取。

進一步的，中央處理模塊內集成有圖像處理子模塊，圖像處理子模塊用于圖像數據執行處理，具體為，通過直方圖均衡化獲得對比度改善的工作區域圖像，再通過邊緣提取算法實現對工作區域圖像中的待拾取目標進行分割，將工作區域圖像中所有的目標輪廓提取，以為后續的分析和處理提供數據基礎。

進一步的，中央處理模塊內還集成有尺寸測量子模塊，其用于根據目標輪廓測量目標尺寸信息，目標尺寸信息包括外接矩形長寬比、矩形度和圓度，還用于據目標輪廓信息測量目標平面中心位置的實際空間坐標，用于后續對機械手拾取的引導。