[發(fā)明專利]基于抓取點(diǎn)檢測(cè)的三指手勢(shì)生成方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110700107.7
• 申請(qǐng)日: 2021-06-23
• 公開（公告）號(hào): CN113420752A
• 公開（公告）日: 2021-09-21
• 發(fā)明（設(shè)計(jì)）人: 李智勇;李俊杰;陳文銳
• 申請(qǐng)（專利權(quán)）人: 湖南大學(xué)
• 主分類號(hào): G06K9/20
• 分類號(hào): G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長(zhǎng)沙永星專利商標(biāo)事務(wù)所(普通合伙) 43001
• 代理人: 周詠;米中業(yè)

1.一種基于抓取點(diǎn)檢測(cè)的三指手勢(shì)生成方法，其特征在于包括如下步驟：

S1.獲取訓(xùn)練數(shù)據(jù)集；

S2.構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，用于提取手勢(shì)的特征，并計(jì)算手勢(shì)對(duì)應(yīng)的置信度；

S3.采用步驟S1獲取的訓(xùn)練數(shù)據(jù)集，對(duì)步驟S2構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行訓(xùn)練，得到訓(xùn)練后的分類網(wǎng)絡(luò)模型；

S4.從點(diǎn)云中選取n個(gè)點(diǎn)，計(jì)算坐標(biāo)系，生成候選抓取手勢(shì)；

S5.通過步驟S3訓(xùn)練后的分類網(wǎng)絡(luò)模型為步驟S4中候選抓取手勢(shì)進(jìn)行評(píng)價(jià)，選出有效手勢(shì)，并對(duì)手勢(shì)的有效性進(jìn)行評(píng)分和排序；

S6.按照評(píng)價(jià)分?jǐn)?shù)從選出若干個(gè)有效手勢(shì)。

2.根據(jù)權(quán)利要求1所述的基于抓取點(diǎn)檢測(cè)的三指手勢(shì)生成方法，其特征在于步驟S1，訓(xùn)練數(shù)據(jù)集具體為BigBIRD數(shù)據(jù)集。

3.根據(jù)權(quán)利要求2所述的基于抓取點(diǎn)檢測(cè)的三指手勢(shì)生成方法，其特征在于步驟S2，神經(jīng)網(wǎng)絡(luò)模型包括Letnet結(jié)構(gòu)，VGG結(jié)構(gòu)或ResNet結(jié)構(gòu)。

4.根據(jù)權(quán)利要求3所述的基于抓取點(diǎn)檢測(cè)的三指手勢(shì)生成方法，其特征在于步驟S3，具體包括將步驟S1中的數(shù)據(jù)采用圖像增強(qiáng)算法形成新的訓(xùn)練圖片，并輸入到步驟S2構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

5.根據(jù)權(quán)利要求4所述的基于抓取點(diǎn)檢測(cè)的三指手勢(shì)生成方法，其特征在于步驟S4，W為機(jī)器人的工作空間，物體點(diǎn)云C在機(jī)器人的工作空間中，對(duì)于生成手勢(shì)h∈C，當(dāng)機(jī)械手完全張開時(shí)，機(jī)械手占據(jù)的體積用B(h)∈W表示，當(dāng)機(jī)械手手閉合時(shí)，機(jī)械手掃過的區(qū)域用A(h)∈W表示；生成的抓取候選包括如下限制：

限制1為機(jī)械手占據(jù)的體積不與點(diǎn)云沖突，

限制2為機(jī)械手閉合的區(qū)域至少包含點(diǎn)云的一個(gè)點(diǎn)，

生成抓取手勢(shì)，具體包括如下步驟：

A1.確定參考系；

A2.獲取預(yù)抓取手勢(shì)；

A3.對(duì)預(yù)抓取手勢(shì)進(jìn)行微調(diào)。

6.根據(jù)權(quán)利要求5所述的基于抓取點(diǎn)檢測(cè)的三指手勢(shì)生成方法，其特征在于步驟A1具體包括，從點(diǎn)云的表面均勻隨機(jī)選取N個(gè)點(diǎn)，以每個(gè)點(diǎn)為坐標(biāo)系原點(diǎn)計(jì)算參考坐標(biāo)系F(p)；以點(diǎn)p為圓心，r為預(yù)設(shè)半徑，所作的圓與點(diǎn)云C有m個(gè)交點(diǎn)(x_i,y_i,z_i)，i＝1,2,...,m；求協(xié)方差矩陣：

其中，(Δx_i,Δy_i,Δz_i)，i＝1,2,…,m的表示如下：

其中，為所有點(diǎn)的重心；協(xié)方差矩陣的最大特征值對(duì)應(yīng)特征向量為z軸，而y軸通過x軸與z軸叉乘得到。

7.根據(jù)權(quán)利要求6所述的基于抓取點(diǎn)檢測(cè)的三指手勢(shì)生成方法，其特征在于步驟A2具體包括，拇指平行指向于y軸的負(fù)半軸，而中指和食指平行指向于y軸的正半軸；根據(jù)物體姿態(tài)檢測(cè)算法得到物體的類別，并調(diào)整指間的偏轉(zhuǎn)角得到預(yù)抓取手勢(shì)。

8.根據(jù)權(quán)利要求7所述的基于抓取點(diǎn)檢測(cè)的三指手勢(shì)生成方法，其特征在于步驟A3具體包括將手勢(shì)向x負(fù)半軸移動(dòng)，達(dá)到滿足限制1的臨界點(diǎn)；并由y軸與z軸確定平面G，對(duì)每一個(gè)(y,φ)∈G進(jìn)行平移，在G平面內(nèi)旋轉(zhuǎn)手勢(shì)，滿足限制2，并生成抓取手勢(shì)。

9.根據(jù)權(quán)利要求8所述的基于抓取點(diǎn)檢測(cè)的三指手勢(shì)生成方法，其特征在于步驟S5，評(píng)價(jià)采用4層卷積神經(jīng)網(wǎng)絡(luò)；4層卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、卷積層1、最大池化層1、卷積層2、全連接層1和全連接層2；對(duì)于給定的候選抓取，使用Encode，將候選抓取編碼成一個(gè)多通道的圖片，作為神經(jīng)網(wǎng)絡(luò)的輸入，判斷輸出候選是否有效；若候選抓取有效，則采用本手勢(shì)；若候選抓取無效，則生成手勢(shì)失敗。

10.一種基于權(quán)利要求1～9之一所述的基于抓取點(diǎn)檢測(cè)的三指手勢(shì)生成方法的系統(tǒng)，其特征在于包括三腳架1、攝像頭2、待抓取物體3、平臺(tái)4、機(jī)械臂5、控制裝置6和機(jī)械手7；三腳架1用于支撐攝像頭2，并調(diào)整攝像機(jī)2的高度及角度；攝像頭2用于采集圖像數(shù)據(jù)；平臺(tái)4用于放置待抓取物體3；機(jī)械臂5為用于控制機(jī)械手7的位置；控制裝置6用于數(shù)據(jù)處理，控制裝置6連接攝像頭2并接收?qǐng)D像數(shù)據(jù)，通過步驟S1-S6處理圖像數(shù)據(jù)并控制機(jī)械臂5和機(jī)械手7。