[發(fā)明專利]一種非特定形狀物體識別、定位與機械手抓取系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202210384412.4
• 申請日: 2022-04-13
• 公開（公告）號: CN114758236A
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計）人: 夏珉;許晗;李正泳;馬宇霆
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/26;G06V10/20;G06V10/44;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢華之喻知識產(chǎn)權(quán)代理有限公司 42267
• 代理人: 王世芳;梁鵬

1.一種非特定形狀物體識別、定位與機械手抓取系統(tǒng)，其特征在于，其包括多自由度機械手、機器視覺成像模塊和中央處理模塊，其中，

多自由度機械手包括卡爪或/和吸嘴，多自由度機械手與中央處理模塊相連接，以受中央處理模塊控制，根據(jù)中央處理模塊給出的平面運動坐標(biāo)和目標(biāo)外圍尺寸執(zhí)行對目標(biāo)的拾取，

機器視覺成像模塊包括工業(yè)相機和成像鏡頭，機器視覺成像模塊與中央處理模塊相連接，以將自身采集的圖像數(shù)據(jù)傳輸給中央處理模塊，

中央處理模塊用于接收機器視覺成像模塊采集的圖像數(shù)據(jù)，對圖像數(shù)據(jù)進行處理，提取目標(biāo)輪廓，并根據(jù)目標(biāo)輪廓結(jié)合標(biāo)定后的物空間尺寸與像空間像素數(shù)量映射關(guān)系實現(xiàn)對每個目標(biāo)的外形尺寸的測量，還用于采用深度神經(jīng)網(wǎng)絡(luò)模型依據(jù)目標(biāo)外形尺寸對目標(biāo)進行分類，進而指導(dǎo)并控制多自由度機械手對目標(biāo)進行識別、定位和拾取。

2.如權(quán)利要求1所述的一種非特定形狀物體識別、定位與機械手抓取系統(tǒng)，其特征在于，中央處理模塊內(nèi)集成有圖像處理子模塊，圖像處理子模塊用于圖像數(shù)據(jù)執(zhí)行處理，具體為，通過直方圖均衡化獲得對比度改善的工作區(qū)域圖像，再通過邊緣提取算法實現(xiàn)對工作區(qū)域圖像中的待拾取目標(biāo)進行分割，將工作區(qū)域圖像中所有的目標(biāo)輪廓提取，以為后續(xù)的分析和處理提供數(shù)據(jù)基礎(chǔ)。

3.如權(quán)利要求2所述的一種非特定形狀物體識別、定位與機械手抓取系統(tǒng)，其特征在于，中央處理模塊內(nèi)還集成有尺寸測量子模塊，其用于根據(jù)目標(biāo)輪廓測量目標(biāo)尺寸信息，目標(biāo)尺寸信息包括外接矩形長寬比、矩形度和圓度，還用于據(jù)目標(biāo)輪廓信息測量目標(biāo)平面中心位置的實際空間坐標(biāo)，用于后續(xù)對機械手拾取的引導(dǎo)。

4.如權(quán)利要求3所述的一種非特定形狀物體識別、定位與機械手抓取系統(tǒng)，其特征在于，中央處理模塊內(nèi)還集成有目標(biāo)分類子模塊，其用于根據(jù)圖像處理子模塊提取的目標(biāo)輪廓信息和尺寸測量子模塊獲取的目標(biāo)尺寸信息，通過訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型對目標(biāo)進行分類，并在目標(biāo)無法被分類到已知目標(biāo)特性分類庫中，則將其作為新的目標(biāo)特征加入分類庫。

5.如權(quán)利要求4所述的一種非特定形狀物體識別、定位與機械手抓取系統(tǒng)，其特征在于，中央處理模塊內(nèi)還集成有拾取引導(dǎo)子模塊，其用于根據(jù)工作區(qū)域內(nèi)每個目標(biāo)的位置信息和分類信息，按照設(shè)定的拾取方式引導(dǎo)機械手完成對目標(biāo)的拾取工作。

6.一種非特定形狀物體識別、定位與機械手抓取方法，其特征在于，其包括如下步驟：

S1：采集獲得圖像數(shù)據(jù)，圖像數(shù)據(jù)為數(shù)字格式，

S2：對數(shù)據(jù)格式的圖像數(shù)據(jù)執(zhí)行圖像預(yù)處理，獲取目標(biāo)圖像，利用邊緣提取和亞像素分析獲取目標(biāo)圖像中目標(biāo)的邊緣信息，并根據(jù)邊緣信息確定其外接矩形，

S3：對每個目標(biāo)的邊緣信息和外接矩形進行配對，將配對結(jié)果存放于目標(biāo)信息列表中，對列表中的每一個信息進行分析，計算出每個目標(biāo)外接矩形的長、寬信息以及外接矩形中心位置坐標(biāo)信息，并將信息存入目標(biāo)信息列表中，用于對目標(biāo)進行分類，

S4：利用預(yù)先訓(xùn)練好的分類用深度神經(jīng)網(wǎng)絡(luò)模型對目標(biāo)信息進行分類，采用由輸入層、多個隱藏層、輸出層構(gòu)成的深度神經(jīng)網(wǎng)絡(luò)作為分類網(wǎng)絡(luò)，網(wǎng)絡(luò)輸入信息為目標(biāo)輪廓及尺寸信息，輸出為分類結(jié)果，

在進行目標(biāo)分類時，如果發(fā)現(xiàn)新類型目標(biāo)，首先排除其是已知目標(biāo)發(fā)生位置重疊，如果仍然表現(xiàn)出新目標(biāo)的特征，則將其視作第一次出現(xiàn)的新目標(biāo)，將獲取到的新目標(biāo)數(shù)據(jù)加入到訓(xùn)練集中，并通過生成對抗神經(jīng)網(wǎng)絡(luò)產(chǎn)生大量與之特征相似的目標(biāo)數(shù)據(jù)，再通過機器學(xué)習(xí)訓(xùn)練的方式更新深度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，實現(xiàn)對新出現(xiàn)的非特定對象目標(biāo)的準(zhǔn)確分類，

S5:指導(dǎo)并控制多自由度機械手按照設(shè)定方式對目標(biāo)進行識別、定位和拾取，拾取非特定目標(biāo)時，按照預(yù)定的收集方式將其放置到對應(yīng)的收集空間中。

7.如權(quán)利要求6所述的一種非特定形狀物體識別、定位與機械手抓取方法，其特征在于，步驟S4中，排除新類型目標(biāo)是已知目標(biāo)發(fā)生位置重疊的具體操作為，首先根據(jù)位置測量結(jié)果引導(dǎo)機械手運行到新類型目標(biāo)附近，對新類型目標(biāo)進行觸碰操作，改變目標(biāo)位置，再重新對工作區(qū)域進行圖像采集，然后對新類型目標(biāo)出現(xiàn)區(qū)域進行目標(biāo)識別，如果其仍然表現(xiàn)出新目標(biāo)的特征，則將其視作第一次出現(xiàn)的新目標(biāo)。