[發明專利]一種用于手勢姿態分類的方法

在審

• 申請號: 202010510643.6
• 申請日: 2020-06-08
• 公開（公告）號: CN111695484A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 陳海波
• 申請（專利權）人: 深蘭人工智能芯片研究院(江蘇)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/46
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 滕詣迪

本發明公開了一種用于手勢姿態分類的方法，包括如下步驟：熱圖融合步驟，首先生成每個關節點的熱圖，將生成的熱圖上取最大值進行融合；強化結構信息步驟，將在已有的關節點中插入新的關節點，在每根手指可見的相鄰兩個關節點之間做插值，映射到熱圖，同樣將插入的每個關節點轉為熱圖，最終將關節點和插入點的熱圖做融合，生成聯合熱圖；聯合熱圖回歸步驟，對于聯合熱圖的回歸損失采用了L2損失函數進行回歸；關節點的分類步驟，基于聯合熱圖進行像素級分類，使用focal loss損失函數求解。本發明無需猜測遮擋關節點的位置，模型可以在較少參數下獲得教好的特征提取和精度。

技術領域

本發明屬于圖像的姿態估計或圖像分類領域，具體涉及手勢或人體的姿態估計或分類。

背景技術

現有的V2Vposehand模型，將深度圖d轉為體素作為模型輸出，模型輸出的是基于標簽生成的3d heatmap(每個關節點對應一個3d熱圖)，其損失函數為：該方式具有以下問題：(1)網絡結構復雜運行時間較長；(2)雖然該模型目前精度排行第一，但模型回歸的heatmap之間沒有結構聯系，沒有融入手部的結構特征的先驗信息，誤差還是較大；(3)模型沒有教好的特征提取，用于手勢分類效果不佳；(4)模型輸出關鍵點的個數固定，無法處理手勢遮擋關節點，因為相當于回歸了一個不存在的關節點，模型輸出無法判斷哪個點是遮擋點

Deeprior++是以2d的深度圖作為模型輸入，回歸3d關節點坐標，該方法具有以下問題：(1)模型精度較低；(2)損失函數也沒有體現手部結構聯系，沒有融入手部的結構特征的先驗信息；(3)模型沒有教好的特征提取，用于手勢分類效果不佳；(4)模型輸出關鍵點的個數固定，無法處理手勢遮擋關節點，因為相當于回歸了一個不存在的關節點，模型輸出無法判斷哪個點是遮擋點。

綜上，現有的手勢姿態估計網絡直接回歸關節點位置，或回歸heatmap，但都沒有考慮手的結構先驗信息，都不能解決關節點遮擋的問題，本發明考慮手的結構先驗信息，模型輸出可以判斷是否是隱藏關節點；很少有專門針對手勢分類的模型，它們不能很好的提取手部結構體征用于分類，本發明也可用于手勢的分類；精度方面本發明也會有較大提高。

發明內容

1、本發明的目的

本發明為了解決遮擋關節點問題，提出了一種用于手勢姿態分類的方法。

2、本發明所采用的技術方案

本發明提出了一種用于手勢姿態分類的方法，包括如下步驟：

熱圖融合步驟，首先生成每個關節點的熱圖，將生成的熱圖上取最大值進行融合；

強化結構信息步驟，將在已有的關節點中插入新的關節點，在每根手指可見的相鄰兩個關節點之間做插值，映射到熱圖，同樣將插入的每個關節點轉為熱圖，最終將關節點和插入點的熱圖做融合，生成聯合熱圖；

聯合熱圖回歸步驟，對于聯合熱圖的回歸損失采用了L2損失函數進行回歸；

關節點的分類步驟，基于聯合熱圖進行像素級分類，使用focal loss損失函數求解。

更進一步，熱圖融合步驟：

首先生成每個關節點的熱圖，J_k(k∈(1,2,...,K))表示一只手的k個關節點，將每個可見關節點轉為其中I_visual表示所有可見關節點索引的集合，分別表示標注數據關節點在熱圖上對應的坐標，j_kx、j_ky、j_kz分別表示標注數據關節點的相機坐標，R為熱圖的縮放因子；然后將生成的len(I_visual)個熱圖進行融合，融合的策略為在熱圖像素上取最大值，融合的熱圖：

更進一步，強化結構信息步驟：