[發(fā)明專利]一種機(jī)械臂目標(biāo)抓取方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210163948.3
• 申請(qǐng)日: 2022-02-22
• 公開（公告）號(hào): CN114519813A
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計(jì)）人: 魯仁全;鐘天達(dá);孟偉;程志鍵;任鴻儒
• 申請(qǐng)（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號(hào): G06V20/00
• 分類號(hào): G06V20/00;G06V40/20;G06V10/22;G06V10/764;G06V10/774;G06K9/62
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 閆偉姣

1.一種機(jī)械臂目標(biāo)抓取方法，其特征在于，包括：

獲取夾取目標(biāo)識(shí)別數(shù)據(jù)集；

對(duì)夾取目標(biāo)識(shí)別數(shù)據(jù)集進(jìn)行圖像預(yù)處理；

基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集訓(xùn)練目標(biāo)檢測模型；

基于訓(xùn)練好的目標(biāo)檢測模型對(duì)待夾取目標(biāo)進(jìn)行預(yù)測識(shí)別；

基于預(yù)測識(shí)別結(jié)果，根據(jù)逆向運(yùn)動(dòng)學(xué)求解機(jī)械臂運(yùn)動(dòng)姿態(tài)，基于求解的機(jī)械臂運(yùn)動(dòng)姿態(tài)進(jìn)行目標(biāo)抓取；

其中，所述基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集訓(xùn)練目標(biāo)檢測模型是根據(jù)預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集進(jìn)行位置編碼，然后基于位置編碼后的夾取目標(biāo)識(shí)別數(shù)據(jù)集基于自注意力原理進(jìn)行編碼器解碼器的解算通過編碼器和解碼器得到夾取目標(biāo)識(shí)別數(shù)據(jù)預(yù)測集；根據(jù)夾取目標(biāo)識(shí)別預(yù)測集得到最終的目標(biāo)檢測框。

2.如權(quán)利要求1所述的一種機(jī)械臂目標(biāo)抓取方法，其特征在于，所述獲取夾取目標(biāo)識(shí)別數(shù)據(jù)集，包括：

通過深度視覺相機(jī)采集機(jī)械臂工作區(qū)域的圖像以及深度信息；

基于機(jī)械臂工作區(qū)域的圖像，進(jìn)行機(jī)械臂理想夾取姿態(tài)標(biāo)定；

基于標(biāo)定的數(shù)據(jù)構(gòu)成夾取目標(biāo)識(shí)別數(shù)據(jù)集。

3.如權(quán)利要求1所述的一種機(jī)械臂目標(biāo)抓取方法，其特征在于，所述對(duì)夾取目標(biāo)識(shí)別數(shù)據(jù)集進(jìn)行圖像預(yù)處理，包括：

對(duì)目標(biāo)識(shí)別數(shù)據(jù)集的圖像進(jìn)行灰度化處理；

對(duì)灰度化處理后的圖像進(jìn)行幾何變換；

對(duì)幾何變換的圖像進(jìn)行圖像增強(qiáng)，得到預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集。

4.如權(quán)利要求1所述的一種機(jī)械臂目標(biāo)抓取方法，其特征在于，基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集訓(xùn)練目標(biāo)檢測模型，包括：

基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集中的圖像進(jìn)行特征映射，得到單行向量；

基于單行向量進(jìn)行編號(hào)，每個(gè)編號(hào)對(duì)應(yīng)一個(gè)向量，引入位置信息構(gòu)造位置向量；

將位置向量輸入到編碼器進(jìn)行編碼，然后將編碼后的數(shù)據(jù)輸入到解碼器中得到解碼后的特征向量；

將解碼后的特征向量連接到一個(gè)全連接層進(jìn)行分類計(jì)算和概率映射，得到檢測框數(shù)據(jù)。

5.如權(quán)利要求4所述的一種機(jī)械臂目標(biāo)抓取方法，其特征在于，所述編碼器包括一個(gè)多頭自注意力模塊、兩個(gè)求和與歸一化模塊和一個(gè)前饋神經(jīng)網(wǎng)絡(luò)模塊；

輸入數(shù)據(jù)經(jīng)過位置編碼后，輸入到多頭自注意力模塊；

將多頭自注意力模塊的輸入和輸出相加并歸一化；

然后輸入到前饋神經(jīng)網(wǎng)絡(luò)模塊；

將前饋神經(jīng)網(wǎng)絡(luò)模塊的輸入和輸出相加并歸一化作為編碼器的最終輸出。

6.如權(quán)利要求4所述的一種機(jī)械臂目標(biāo)抓取方法，其特征在于，所述解碼器包括順序連接的兩個(gè)多頭自注意力模塊、三個(gè)求和與歸一化模塊和一個(gè)前饋神經(jīng)網(wǎng)絡(luò)模塊；

將編碼器的輸出經(jīng)過多頭自注意力模塊解碼后得到解碼后特征向量；

通過解碼器推斷出一個(gè)固定大小的預(yù)測集；

根據(jù)人工標(biāo)志的真實(shí)數(shù)據(jù)對(duì)預(yù)測對(duì)象進(jìn)行評(píng)分。

7.如權(quán)利要求1所述的一種機(jī)械臂目標(biāo)抓取方法，其特征在于，所述基于訓(xùn)練好的目標(biāo)檢測模型對(duì)待夾取目標(biāo)進(jìn)行預(yù)測識(shí)別，包括：

獲取新的圖像數(shù)據(jù)，輸入目標(biāo)檢測模型獲得目標(biāo)檢測框數(shù)據(jù)；

所述目標(biāo)檢測框數(shù)據(jù)包括中心坐標(biāo)、方框長度和寬度以及方框偏移角度。

8.一種機(jī)械臂目標(biāo)抓取系統(tǒng)，其特征在于，包括：

數(shù)據(jù)獲取模塊，用于獲取夾取目標(biāo)識(shí)別數(shù)據(jù)集；

數(shù)據(jù)預(yù)處理模塊，用于對(duì)夾取目標(biāo)識(shí)別數(shù)據(jù)集進(jìn)行圖像預(yù)處理；

目標(biāo)模型訓(xùn)練模塊，用于基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集訓(xùn)練目標(biāo)檢測模型；其中，所述基于預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集訓(xùn)練目標(biāo)檢測模型是根據(jù)預(yù)處理后的夾取目標(biāo)識(shí)別數(shù)據(jù)集進(jìn)行位置編碼，然后基于位置編碼后的夾取目標(biāo)識(shí)別數(shù)據(jù)集基于自注意力原理進(jìn)行編碼器解碼器的解算得到夾取目標(biāo)識(shí)別數(shù)據(jù)預(yù)測集；根據(jù)夾取目標(biāo)識(shí)別預(yù)測集得到最終的目標(biāo)檢測框；

目標(biāo)預(yù)測識(shí)別模塊，用于基于訓(xùn)練好的目標(biāo)檢測模型對(duì)待夾取目標(biāo)進(jìn)行預(yù)測識(shí)別；

機(jī)械臂運(yùn)動(dòng)姿態(tài)確定模塊，用于基于預(yù)測識(shí)別結(jié)果，根據(jù)逆向運(yùn)動(dòng)學(xué)求解機(jī)械臂運(yùn)動(dòng)姿態(tài)。