[發(fā)明專利]一種二指機械臂抓取方法、系統(tǒng)、裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110277460.9
• 申請日: 2021-03-15
• 公開（公告）號: CN113119108B
• 公開（公告）日: 2022-07-05
• 發(fā)明（設計）人: 朱大昌;邱澤霖;賴俊豪;楊家謀
• 申請（專利權(quán)）人: 廣州大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06V20/00;G06V10/25;G06V10/26;G06V10/75;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06T7/136;G06T7/194
• 代理公司: 廣州嘉權(quán)專利商標事務所有限公司 44205
• 代理人: 黎揚鵬

本發(fā)明公開了一種二指機械臂抓取方法、系統(tǒng)、裝置及存儲介質(zhì)，方法包括：獲取目標區(qū)域的第一圖像信息，采用目標檢測技術(shù)提取出待抓取物的第二圖像信息；對第二圖像信息進行圖像分割處理得到前景圖像和背景圖像，確定前景圖像的中心點坐標和邊界點坐標；根據(jù)中心點坐標和邊界點坐標確定多個邊界點對，采用多項式曲線擬合方法確定第一邊界曲線方程和第二邊界曲線方程；根據(jù)中心點坐標、第一邊界曲線方程以及第二邊界曲線方程確定滿足力封閉條件的最優(yōu)邊界點對；根據(jù)中心點坐標和最優(yōu)邊界點對確定抓取點和抓取角度，進而控制二指機械臂進行抓取。本發(fā)明提高了抓取的準確度，降低了對系統(tǒng)算力的要求，提高了抓取效率，可廣泛應用于機械臂技術(shù)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及機械臂技術(shù)領(lǐng)域，尤其是一種二指機械臂抓取方法、系統(tǒng)、裝置及存儲介質(zhì)。

背景技術(shù)

機械臂抓取技術(shù)根據(jù)驅(qū)動方式可以分為數(shù)據(jù)型驅(qū)動抓取以及分析型驅(qū)動抓取。數(shù)據(jù)型驅(qū)動抓取即利用類似機器學習或者深度學習等技術(shù)從大量的正確抓取位姿中學習針對某個待抓取物的正確抓取位姿。分析型驅(qū)動抓取一般是基于夾持器與物體之間的某種幾何關(guān)系、運動學等方法來生成合適的抓取位姿。

由于深度學習技術(shù)在諸多領(lǐng)域取得的成功，因此基于數(shù)據(jù)型驅(qū)動方式的機械臂抓取方法被廣泛的使用，但是使用這種方法的缺陷如下：

1)需準備大量帶有正確抓取位姿與非正確抓取位姿的數(shù)據(jù)集，這些數(shù)據(jù)集有時需要通過實際的機器人抓取動作來獲取，因此制作帶標簽的數(shù)據(jù)集的過程十分繁瑣。且端到端的抓取位姿生成方式對于數(shù)據(jù)集的質(zhì)量要求較高，有時需要針對收集的數(shù)據(jù)集進行必要的清洗。整個過程費時費力，效率不高。

2)抓取動作本身對于抓取位姿是否能夠滿足力封閉或形封閉有精確要求，使用基于深度神經(jīng)網(wǎng)絡的端到端的數(shù)據(jù)型驅(qū)動的抓取位姿生成方法對以下幾種組成部分變動時所導致的誤差較敏感：訓練數(shù)據(jù)集、網(wǎng)絡框架、損失函數(shù)、訓練次數(shù)等，這會導致其在陌生的待抓取物上生成的抓取位姿不滿足力封閉或形封閉的條件從而導致抓取失敗。

發(fā)明內(nèi)容

本發(fā)明的目的在于至少一定程度上解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。

為此，本發(fā)明實施例的一個目的在于提供一種二指機械臂抓取方法，該方法通過目標檢測技術(shù)和圖像分割處理，確定待抓取物的中心點坐標和邊界點坐標，然后選取與中心點坐標在同一直線的多個邊界點對，并采用多項式曲線擬合方法確定各個邊界點對的邊界曲線方程，進而根據(jù)中心點坐標和邊界曲線方程確定滿足力封閉條件的最優(yōu)邊界點對，再根據(jù)中心點坐標確定抓取點、根據(jù)最優(yōu)邊界點對確定抓取角度，從而可以根據(jù)抓取點和抓取角度控制二指機械臂進行抓取。

本發(fā)明實施例的另一個目的在于提供一種二指機械臂抓取系統(tǒng)。

為了達到上述技術(shù)目的，本發(fā)明實施例所采取的技術(shù)方案包括：

第一方面，本發(fā)明實施例提供了一種二指機械臂抓取方法，包括以下步驟：

獲取目標區(qū)域的第一圖像信息，采用目標檢測技術(shù)在所述第一圖像信息中提取出待抓取物的第二圖像信息；

對所述第二圖像信息進行圖像分割處理得到前景圖像和背景圖像，并確定所述前景圖像的中心點坐標和邊界點坐標；

根據(jù)所述中心點坐標和所述邊界點坐標確定多個邊界點對，所述邊界點對包括第一邊界點和第二邊界點，采用多項式曲線擬合方法確定所述第一邊界點的第一邊界曲線方程和所述第二邊界點的第二邊界曲線方程；

根據(jù)所述中心點坐標、所述第一邊界曲線方程以及所述第二邊界曲線方程確定滿足力封閉條件的最優(yōu)邊界點對；

根據(jù)所述中心點坐標確定抓取點，并根據(jù)所述最優(yōu)邊界點對確定抓取角度，進而根據(jù)所述抓取點和所述抓取角度控制二指機械臂進行抓取。