[發(fā)明專利]一種抓取手勢識別的方法、裝置及電子設備

有效

• 申請?zhí)枺?/td>: 201610981210.2
• 申請日: 2016-11-08
• 公開（公告）號: CN108073851B
• 公開（公告）日: 2021-12-28
• 發(fā)明（設計）人: 陳超;劉麗艷;趙穎
• 申請（專利權）人: 株式會社理光
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京銀龍知識產(chǎn)權代理有限公司 11243
• 代理人: 許靜;劉偉

1.一種抓取手勢識別的方法，其特征在于，包括：

獲得一待識別的抓取手勢的第一彩色圖像和第一深度圖像；

根據(jù)所述第一彩色圖像和第一深度圖像，生成至少三種輸入數(shù)據(jù)，所述至少三種輸入數(shù)據(jù)包括：包含手掌部分的RGBD圖像，手掌前景圖像，被抓取物的掩膜圖像；

將所述至少三種輸入數(shù)據(jù)，輸入至一預先訓練得到的多支流卷積神經(jīng)網(wǎng)絡中的對應支流，并將所述多支流卷積神經(jīng)網(wǎng)絡的輸出結果輸入至一預先訓練得到的聚類模型，識別得到所述待識別的抓取手勢的類別；

其中，所述多支流卷積神經(jīng)網(wǎng)絡至少包括：用于學習抓取手勢的全局信息的第一支流，用于學習手掌外觀姿態(tài)的第二支流，用于學習物體形狀的局部信息的第三支流，所述第一支流、第二支流和第三支流，分別對應于所述包含手掌部分的RGBD圖像、所述手掌前景圖像、和所述被抓取物的掩膜圖像。

2.如權利要求1所述的方法，其特征在于，在所述獲得一待識別的抓取手勢的第一彩色圖像和第一深度圖像的步驟之前，所述方法還包括：

預處理多個抓取手勢樣本的樣本彩色圖像和樣本深度圖像，得到訓練數(shù)據(jù)，所述訓練數(shù)據(jù)包括每個抓取手勢的所述至少三種輸入數(shù)據(jù)；

建立多支流卷積神經(jīng)網(wǎng)絡，所述多支流卷積神經(jīng)網(wǎng)絡包括一一對應于每種輸入數(shù)據(jù)的多個支流；

將所述訓練數(shù)據(jù)中的每種輸入數(shù)據(jù)，分別輸入至所述多支流卷積神經(jīng)網(wǎng)絡中對應的支流，計算得到所述訓練數(shù)據(jù)的特征；

融合所述多支流卷積神經(jīng)網(wǎng)絡的各個支流的得到的特征，得到融合特征；

對融合特征進行聚類，獲得聚類結果并更新聚類中心；

根據(jù)聚類結果，更新所述多支流卷積神經(jīng)網(wǎng)絡的目標函數(shù)，并根據(jù)目標函數(shù)的梯度，更新所述多支流卷積神經(jīng)網(wǎng)絡的模型參數(shù)；

判斷是否滿足預設的迭代終止條件，若滿足，則輸出最終的多支流卷積神經(jīng)網(wǎng)絡和聚類模型，否則返回所述將所述訓練數(shù)據(jù)中的每種輸入數(shù)據(jù)，分別輸入至所述多支流卷積神經(jīng)網(wǎng)絡中對應的支流，計算得到所述訓練數(shù)據(jù)的特征的步驟。

3.如權利要求2所述的方法，其特征在于，所述預處理多個抓取手勢的樣本彩色圖像和樣本深度圖像，得到訓練數(shù)據(jù)的步驟，包括：

合成同一個抓取手勢的樣本彩色圖像和樣本深度圖像，得到包含手掌以及被抓取物的RGBD圖像；

對所述樣本彩色圖像分割出前景部分的手掌圖像，得到手掌前景圖像；

結合所述樣本深度圖像和被抓取物在樣本彩色圖像上的分割區(qū)域，得到被抓取物的掩膜圖像。

4.如權利要求2所述的方法，其特征在于，

所述根據(jù)聚類結果，更新所述多支流卷積神經(jīng)網(wǎng)絡的目標函數(shù)，并根據(jù)目標函數(shù)的梯度，更新所述多支流卷積神經(jīng)網(wǎng)絡的模型參數(shù)的步驟，包括：

在更新所述多支流卷積神經(jīng)網(wǎng)絡的目標函數(shù)時，計算所有的抓取手勢樣本與該抓取手勢樣本所屬聚類中心之間的距離的和值，并在所述目標函數(shù)中加入所述和值，以作為約束條件訓練所述多支流卷積神經(jīng)網(wǎng)絡。

5.如權利要求4所述的方法，其特征在于，

所述預設的迭代終止條件包括：目標函數(shù)收斂到預設的條件或者迭代次數(shù)達到預設的次數(shù)。

6.一種抓取手勢識別裝置，其特征在于，包括：

圖像獲得單元，用于獲得一待識別的抓取手勢的第一彩色圖像和第一深度圖像；

圖像預處理單元，用于根據(jù)所述第一彩色圖像和第一深度圖像，生成至少三種輸入數(shù)據(jù)，所述至少三種輸入數(shù)據(jù)包括：包含手掌部分的RGBD圖像，手掌前景圖像，被抓取物的掩膜圖像；

識別處理單元，用于將所述至少三種輸入數(shù)據(jù)，輸入至一預先訓練得到的多支流卷積神經(jīng)網(wǎng)絡中的對應支流，并將所述多支流卷積神經(jīng)網(wǎng)絡的輸出結果輸入至一預先訓練得到的聚類模型，識別得到所述待識別的抓取手勢的類別；

其中，所述多支流卷積神經(jīng)網(wǎng)絡至少包括：用于學習抓取手勢的全局信息的第一支流，用于學習手掌外觀姿態(tài)的第二支流，用于學習物體形狀的局部信息的第三支流，所述第一支流、第二支流和第三支流，分別對應于所述包含手掌部分的RGBD圖像、所述手掌前景圖像、和所述被抓取物的掩膜圖像。