[發(fā)明專利]手勢(shì)識(shí)別方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111413880.1
• 申請(qǐng)日: 2021-11-25
• 公開(kāi)（公告）號(hào): CN113989942A
• 公開(kāi)（公告）日: 2022-01-28
• 發(fā)明（設(shè)計(jì)）人: 范天偉;安崗;王金石;李森;佟曼
• 申請(qǐng)（專利權(quán)）人: 中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V40/10;G06V10/774;G06V10/764;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京天昊聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11112
• 代理人: 彭瑞欣;馮建基

1.一種手勢(shì)識(shí)別方法，其特征在于，所述方法包括：

對(duì)待處理圖像進(jìn)行分析，獲取所述待處理圖像中人手的待識(shí)別手勢(shì)和與所述待識(shí)別手勢(shì)對(duì)應(yīng)的指關(guān)節(jié)信息，所述待處理圖像是通過(guò)三維深度相機(jī)獲取的圖像；

提取所述指關(guān)節(jié)信息中的角度信息和距離信息，所述角度信息表征人手的指關(guān)節(jié)之間的角度，所述距離信息表征人手的指關(guān)節(jié)與掌根之間的距離；

依據(jù)所述角度信息和所述距離信息對(duì)所述待識(shí)別手勢(shì)進(jìn)行識(shí)別，確定手勢(shì)動(dòng)作。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)待處理圖像進(jìn)行分析，獲取待識(shí)別手勢(shì)和所述待識(shí)別手勢(shì)對(duì)應(yīng)的指關(guān)節(jié)信息，包括：

提取所述待處理圖像中的三維手掌深度信息；

依據(jù)所述三維手掌深度信息，確定手勢(shì)點(diǎn)云信息；

將所述手勢(shì)點(diǎn)云信息映射到多個(gè)平面上，生成多個(gè)二維點(diǎn)云映射圖像；

從多個(gè)所述二維點(diǎn)云映射圖像中提取手掌骨骼信息；

依據(jù)所述手掌骨骼信息，確定所述待識(shí)別手勢(shì)和所述指關(guān)節(jié)信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述手掌骨骼信息包括：指關(guān)節(jié)信息和掌根信息；

所述提取所述指關(guān)節(jié)信息中的角度信息和距離信息，包括：

依據(jù)所述指關(guān)節(jié)信息、所述掌根信息和預(yù)設(shè)坐標(biāo)系，確定所述指關(guān)節(jié)的位置信息和所述掌根的位置信息；

依據(jù)所述指關(guān)節(jié)的位置信息和所述掌根的位置信息，確定所述距離信息；

提取所述指關(guān)節(jié)信息中的方向信息；

依據(jù)所述方向信息，確定相鄰的所述指關(guān)節(jié)之間的角度信息。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述依據(jù)所述角度信息和所述距離信息對(duì)所述待識(shí)別手勢(shì)進(jìn)行識(shí)別，確定手勢(shì)動(dòng)作，包括：

對(duì)所述角度信息和所述距離信息進(jìn)行優(yōu)化，獲得優(yōu)化后的特征數(shù)據(jù)；

依據(jù)所述優(yōu)化后的特征數(shù)據(jù)對(duì)所述待識(shí)別手勢(shì)進(jìn)行識(shí)別，確定手勢(shì)動(dòng)作。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對(duì)所述角度信息和所述距離信息進(jìn)行優(yōu)化，獲得優(yōu)化后的特征數(shù)據(jù)，包括：

采用低通濾波器分別對(duì)所述角度信息中的噪聲信息和所述距離信息中的噪聲信息進(jìn)行過(guò)濾，獲得濾波后的數(shù)據(jù)；

依據(jù)預(yù)設(shè)長(zhǎng)度的滑動(dòng)窗口和預(yù)設(shè)重疊程度，對(duì)所述濾波后的數(shù)據(jù)進(jìn)行分割，獲得所述優(yōu)化后的特征數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述采用低通濾波器分別對(duì)所述角度信息中的噪聲信息和所述距離信息中的噪聲信息進(jìn)行過(guò)濾，獲得濾波后的數(shù)據(jù)之前，所述對(duì)所述角度信息和所述距離信息進(jìn)行優(yōu)化，獲得優(yōu)化后的特征數(shù)據(jù)，還包括：

依據(jù)所述角度信息，確定所述待識(shí)別手勢(shì)的動(dòng)作頻率；

依據(jù)所述待識(shí)別手勢(shì)的動(dòng)作頻率，確定所述低通濾波器對(duì)應(yīng)的角頻率。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述角度信息，包括：手指彎曲程度、手指指向角度和手指運(yùn)動(dòng)速度中的至少一種；所述手勢(shì)動(dòng)作，包括：抓取、釋放和點(diǎn)按中的至少一種。

8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法，其特征在于，所述手勢(shì)識(shí)別方法通過(guò)預(yù)設(shè)的手勢(shì)識(shí)別模型實(shí)現(xiàn)，所述手勢(shì)識(shí)別模型是使用預(yù)設(shè)訓(xùn)練集訓(xùn)練得到的模型，所述預(yù)設(shè)訓(xùn)練集包括：樣本手勢(shì)和所述樣本手勢(shì)對(duì)應(yīng)的指關(guān)節(jié)信息。

9.一種手勢(shì)識(shí)別裝置，其包括：

獲取模塊，被配置為對(duì)待處理圖像進(jìn)行分析，獲取待識(shí)別手勢(shì)和所述待識(shí)別手勢(shì)對(duì)應(yīng)的指關(guān)節(jié)信息，所述待處理圖像是通過(guò)三維深度相機(jī)獲取的圖像；

提取模塊，被配置為提取所述指關(guān)節(jié)信息中的角度信息和距離信息，所述角度信息表征指關(guān)節(jié)之間的角度信息，所述距離信息表征所述指關(guān)節(jié)與掌根之間的距離信息；

識(shí)別模塊，被配置為依據(jù)所述角度信息和所述距離信息對(duì)所述待識(shí)別手勢(shì)進(jìn)行識(shí)別，確定手勢(shì)動(dòng)作。

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述獲取模塊，包括：

第一提取子模塊，被配置為提取所述待處理圖像中的三維手掌深度信息；

確定子模塊，被配置為依據(jù)所述三維手掌深度信息，確定手勢(shì)點(diǎn)云信息；

映射子模塊，被配置為將所述手勢(shì)點(diǎn)云信息映射到多個(gè)平面上，生成多個(gè)二維點(diǎn)云映射圖像；

第二提取子模塊，被配置為從多個(gè)所述二維點(diǎn)云映射圖像中提取手掌骨骼信息；

確定子模塊，被配置為依據(jù)所述手掌骨骼信息，確定所述待識(shí)別手勢(shì)和所述指關(guān)節(jié)信息。