[發明專利]基于抓取點檢測的三指手勢生成方法及系統

在審

• 申請號: 202110700107.7
• 申請日: 2021-06-23
• 公開（公告）號: CN113420752A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 李智勇;李俊杰;陳文銳
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙永星專利商標事務所(普通合伙) 43001
• 代理人: 周詠;米中業

本發明公開了一種基于抓取點檢測的三指手勢生成方法，包括獲取手勢圖片；獲取訓練數據集，構建神經網絡模型，用于提取手勢的特征，并計算手勢對應的置信度分數，采用訓練數據集，對構建的神經網絡模型，進行訓練，從而得到訓練后的分類網絡模型；從點云中選取n個點，計算坐標系，生成候選抓取手勢；通過訓練好的分類網絡模型為手勢圖片進行質量評估，選出有效手勢，并對手勢評分，按大到小的方式排序；按照評估分數從有效手勢中選出一個或多個高質量的手勢。本發明還公開了一種基于所述的基于抓取點檢測的三指手勢生成方法的系統。本發明能根據點云的形狀自適應生成多種三指抓取手勢；同時抓取性能好，可靠性高，有效性好。

技術領域

本發明屬于電數據處理領域，具體涉及一種基于抓取點檢測的三指手勢生成方法及系統。

背景技術

如今工業上越來越依賴于自動化裝配，機器人在其中起到了重要作用。而抓取手勢估計作為視覺引導的機器人抓取中的一大關鍵任務，至今，抓取手勢已被國內外學者進行廣泛的研究，相關算法和模型(如DexNet、GG-CNN、DGCM-Net、PointnetGPD和REGNet等)在基準上也有較好的性能表現。這些算法雖然能生成質量較高的抓取手勢，但是普遍都是針對工業上常用的二指平行抓取夾子(parallel grippers)，對于三指靈巧手的抓取手勢估計研究較少。靈巧手的抓取手勢估計除了要估計手的6D姿態，還需要估計指間偏轉角和手指彎曲角這二類參數，存在很大難度。

發明內容

本發明的目的之一在于提供一種基于抓取點檢測的三指手勢生成方法，該方法能自由控制指間偏轉角，根據點云形狀自適應，生成多種三指抓取手勢。本發明的目的之二在于提供一種基于所述的基于抓取點檢測的三指手勢生成方法的系統。

本發明提供的這種基于抓取點檢測的三指手勢生成方法，包括如下步驟：

S1.獲取訓練數據集；

S2.構建神經網絡模型，用于提取手勢的特征，并計算手勢對應的置信度；

S3.采用步驟S1獲取的訓練數據集，對步驟S2構建的神經網絡模型，進行訓練，得到訓練后的分類網絡模型；

S4.從點云中選取n個點，計算坐標系，生成候選抓取手勢；

S5.通過步驟S3訓練后的分類網絡模型為步驟S4中候選抓取手勢進行評價，選出有效手勢，并對手勢的有效性進行評分和排序；

S6.按照評價分數從選出若干個有效手勢。

步驟S1，訓練數據集具體為BigBIRD數據集。

步驟S2，神經網絡模型包括Letnet結構，VGG結構或ResNet結構。

步驟S3，具體包括將步驟S1中的數據采用圖像增強算法形成新的訓練圖片，并輸入到步驟S2構建的神經網絡模型進行訓練。

步驟S4，W為機器人的工作空間，物體點云C在機器人的工作空間中，對于生成手勢h∈C，當機械手完全張開時，機械手占據的體積用B(h)∈W表示，當機械手手閉合時，機械手掃過的區域用A(h)∈W表示；生成的抓取候選包括如下限制：

限制1為機械手占據的體積不與點云沖突，

限制2為機械手閉合的區域至少包含點云的一個點，

生成抓取手勢，具體包括如下步驟：

A1.確定參考系；

A2.獲取預抓取手勢；

A3.對預抓取手勢進行微調。