[發(fā)明專利]一種基于深度視覺的協(xié)作機(jī)器人手勢識(shí)別方法及裝置

有效

• 申請?zhí)枺?/td>: 201910176271.5
• 申請日: 2019-03-08
• 公開（公告）號: CN109934155B
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計(jì)）人: 周旭廷;蔡劉平;張如意;郭慶洪;張?jiān)?/a>;張強(qiáng);于振中;李文興
• 申請（專利權(quán)）人: 合肥哈工仞極智能科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06F3/01
• 代理公司: 合肥市浩智運(yùn)專利代理事務(wù)所(普通合伙) 34124
• 代理人: 丁瑞瑞

本發(fā)明公開了一種基于深度視覺的協(xié)作機(jī)器人手勢識(shí)別方法及裝置，所述方法包括：預(yù)先獲取手勢模板集合，所述手勢模板集合中包含至少一個(gè)手勢模板，且所述手勢模板包括至少一幀深度圖，且每一幀深度圖對應(yīng)至少一個(gè)手勢特征數(shù)據(jù)；獲取待識(shí)別手勢的若干張深度圖，利用與獲取手勢模板的方法相同的方法獲取所述待識(shí)別手勢對應(yīng)的手勢特征數(shù)據(jù)；針對每一個(gè)手勢模板，獲取所述待識(shí)別手勢與所述手勢模板的距離，并將與所述待識(shí)別手勢之間距離最小的手勢模板作為所述待識(shí)別手勢的識(shí)別結(jié)果，進(jìn)而根據(jù)對應(yīng)于識(shí)別結(jié)果的控制參數(shù)進(jìn)行協(xié)作機(jī)器人的控制。應(yīng)用本發(fā)明實(shí)施例，可以解決現(xiàn)有技術(shù)中協(xié)作機(jī)器人操控不便的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及一種手勢識(shí)別方法及裝置，更具體涉及一種基于深度視覺的協(xié)作機(jī)器人手勢識(shí)別方法及裝置。

背景技術(shù)

工業(yè)機(jī)器人技術(shù)的日益成熟和應(yīng)用場景的不斷拓展以及智能制造的大勢都需要機(jī)器人系統(tǒng)(包括機(jī)器人、末端工具以及各種傳感器/檢測設(shè)備)和操作人員之間在較小的工作空間內(nèi)保持緊密互動(dòng)，同時(shí)要保證機(jī)器人系統(tǒng)和操作人員的安全性。這里的重點(diǎn)是“較小的工作空間”、“人機(jī)緊密協(xié)作”和“高度的操作安全性”。

為滿足這些新的需求，協(xié)作機(jī)器人應(yīng)運(yùn)而生。與傳統(tǒng)工業(yè)機(jī)器人相比，協(xié)作機(jī)器人具有如下典型特征：負(fù)載小、體積小、自重輕、造型美觀、在心理上對操作人員沒有威脅感、即使與環(huán)境和操作人員發(fā)生碰撞也不會(huì)造成傷害，等等。目前，人機(jī)協(xié)作機(jī)器人的控制的主要實(shí)現(xiàn)方法跟拖動(dòng)示教類似，操作員握緊某種輔助設(shè)備，然后將機(jī)器人拖到目標(biāo)位姿。

但是，目前協(xié)作機(jī)器人的主流操作方式仍然依賴于示教器，理解示教器的操作界面需要操作人員具有較高的專業(yè)水平，而且，操作員長時(shí)間手持示教器操控機(jī)器人時(shí)會(huì)很容易感覺疲勞，因此，現(xiàn)有技術(shù)存在協(xié)作機(jī)器人操控不便的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題在于提供了一種基于深度視覺的協(xié)作機(jī)器人手勢識(shí)別方法及裝置，以解決現(xiàn)有技術(shù)中協(xié)作機(jī)器人操控不便的技術(shù)問題。

本發(fā)明是通過以下技術(shù)方案解決上述技術(shù)問題的：

本發(fā)明實(shí)施例提供了一種基于深度視覺的協(xié)作機(jī)器人手勢識(shí)別方法，所述方法包括：

預(yù)先獲取手勢模板集合，所述手勢模板集合中包含至少一個(gè)手勢模板，且所述手勢模板包括至少一幀深度圖，且每一幀深度圖對應(yīng)至少一個(gè)手勢特征數(shù)據(jù)，其中，所述手勢特征數(shù)據(jù)包括：手掌中心坐標(biāo)、手掌面積、手掌的周長、手掌的圓形度以及根據(jù)所述深度圖所獲取手掌中一個(gè)指尖與深度相機(jī)的真實(shí)距離中的一種或組合；

獲取待識(shí)別手勢的若干張深度圖，利用與獲取手勢模板的方法相同的方法獲取所述待識(shí)別手勢對應(yīng)的手勢特征數(shù)據(jù)；

針對每一個(gè)手勢模板，獲取所述待識(shí)別手勢與所述手勢模板的距離，并將與所述待識(shí)別手勢之間距離最小的手勢模板作為所述待識(shí)別手勢的識(shí)別結(jié)果，進(jìn)而根據(jù)對應(yīng)于識(shí)別結(jié)果的控制參數(shù)進(jìn)行協(xié)作機(jī)器人的控制，其中，所述距離包括：歐氏距離。

可選的，所述預(yù)先獲取手勢模板集合，包括：

針對操作人員預(yù)先作出的各個(gè)手勢，獲取針對所述手勢的若干張深度圖；

對若干張深度圖進(jìn)行歸一化處理，并針對每一張深度圖，將所述深度圖中的手勢轉(zhuǎn)換到二維圖像中的二值圖；

利用八鄰輪廓查找方法查找出所述二值圖中的所包含手勢特征數(shù)據(jù)；

將所述手勢特征數(shù)據(jù)作為對應(yīng)手勢的手勢模板；然后將若干個(gè)手勢模板的集合作為預(yù)先獲取的手勢模板集合。

可選的，所述獲取所述待識(shí)別手勢與所述手勢模板的距離，并將與所述待識(shí)別手勢之間距離最小的手勢模板作為所述待識(shí)別手勢的識(shí)別結(jié)果，包括：

對待識(shí)別手勢的進(jìn)行動(dòng)態(tài)時(shí)間規(guī)整；