[發明專利]一種基于深度視覺的協作機器人手勢識別方法及裝置

有效

• 申請號: 201910176271.5
• 申請日: 2019-03-08
• 公開（公告）號: CN109934155B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 周旭廷;蔡劉平;張如意;郭慶洪;張元貞;張強;于振中;李文興
• 申請（專利權）人: 合肥哈工仞極智能科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06F3/01
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 丁瑞瑞

1.一種基于深度視覺的協作機器人手勢識別方法，其特征在于，所述方法包括：

預先獲取手勢模板集合，所述手勢模板集合中包含至少一個手勢模板，且所述手勢模板包括至少一幀深度圖，且每一幀深度圖對應至少一個手勢特征數據，其中，所述手勢特征數據包括：手掌中心坐標、手掌面積、手掌的周長、手掌的圓形度以及根據所述深度圖所獲取手掌中一個指尖與深度相機的真實距離中的一種或組合；

獲取待識別手勢的若干張深度圖，利用與獲取手勢模板的方法相同的方法獲取所述待識別手勢對應的手勢特征數據；

針對每一個手勢模板，獲取所述待識別手勢與所述手勢模板的距離，并將與所述待識別手勢之間距離最小的手勢模板作為所述待識別手勢的識別結果，進而根據對應于識別結果的控制參數進行協作機器人的控制，其中，所述距離包括：歐氏距離；

所述獲取所述待識別手勢與所述手勢模板的距離，并將與所述待識別手勢之間距離最小的手勢模板作為所述待識別手勢的識別結果，包括：

對待識別手勢的進行動態時間規整；

將動態時間規整后的待識別手勢作為橫坐標/縱坐標，將動態時間規整后的當前手勢模板作為縱坐標/橫坐標，建立代價矩陣；

在所述代價矩陣中，獲取針對當前手勢模板以及所述待識別手勢的規整路徑；將所述當前手勢模板的下一手勢模板作為當前手勢模板，并返回執行所述對待識別手勢的進行動態時間規整的步驟，直至獲取各個手勢模板對應的規整路徑；

利用公式，計算每一個規整路徑的代價，其中，

D(Road)為規整路徑的代價；Road為規整路徑；∑為求和函數；w_s為權重系數；d(R_s)為規整路徑Road上點R_s的對應的當前手勢模板的當前幀深度圖與待識別手勢中各幀深度圖之間子距離；R_s為規整路徑上的點；k為規整路徑上點的個數；

將規整路徑的代價中的最小值對應的手勢模板作為識別結果。

2.根據權利要求1所述的一種基于深度視覺的協作機器人手勢識別方法，其特征在于，所述預先獲取手勢模板集合，包括：

針對操作人員預先作出的各個手勢，獲取針對所述手勢的若干張深度圖；

對若干張深度圖進行歸一化處理，并針對每一張深度圖，將所述深度圖中的手勢轉換到二維圖像中的二值圖；

利用八鄰輪廓查找方法查找出所述二值圖中的所包含手勢特征數據；

將所述手勢特征數據作為對應手勢的手勢模板；然后將若干個手勢模板的集合作為預先獲取的手勢模板集合。

3.根據權利要求1所述的一種基于深度視覺的協作機器人手勢識別方法，其特征在于，所述獲取針對當前手勢模板以及所述待識別手勢的規整路徑，包括：

在所述代價矩陣中，針對當前手勢模板中當前幀深度圖，根據所述當前幀深度圖的手勢特征數據，與待識別手勢中每一幀深度圖中的手勢特征數據之間距離，獲取所述當前幀深度圖與待識別手勢中各幀深度圖的深度圖之間的子距離；

根據所述子距離與所述當前幀深度圖的前一幀對應的目標子距離之和的最小值，確定所述當前幀深度圖對應的待識別手勢中的目標深度圖；并將所述子距離與所述當前幀深度圖的前一幀對應的子距離之和作為當前幀深度圖的對應的目標子距離，將所述代價矩陣中對應所述當前幀深度圖以及所述目標深度圖的點作為規整路徑上的點；

將所述當前手勢模板中的當前幀的下一幀作為當前幀，返回執行所述在所述代價矩陣中，針對當前手勢模板中當前幀深度圖，根據所述當前幀深度圖的手勢特征數據，與待識別手勢中每一幀深度圖中的手勢特征數據之間距離，獲取所述當前幀深度圖與待識別手勢中各幀深度圖的深度圖之間的子距離的步驟，直至獲取所述代價矩陣中對應手勢模板中的各個深度圖的點，并根據所述點構建對應于所述手勢模板的規整路徑。