[發明專利]一種基于姿態編碼的動作識別方法及裝置在審
| 申請號： | 202110156920.2 | 申請日： | 2021-02-04 |
| 公開（公告）號： | CN112906520A | 公開（公告）日： | 2021-06-04 |
| 發明（設計）人： | 鄧小明;張維;林澤一;柯銘雨;馬翠霞;王宏安 | 申請（專利權）人： | 中國科學院軟件研究所 |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06N20/10;G06T9/00 |
| 代理公司： | 北京君尚知識產權代理有限公司 11200 | 代理人： | 余長江 |
| 地址： | 100190 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 姿態 編碼 動作 識別 方法 裝置 | ||
1.一種基于姿態編碼的動作識別方法，其步驟包括：
1)提取檢測物的姿態，將所述姿態編碼成圖像；
2)獲取兩兩關節在不同時間步長組成不同時間維度上的編碼圖像序列，得到若干編碼圖像序列，并依據若干所述編碼圖像序列，構建編碼圖片金字塔，提取編碼圖片金字塔中每一編碼圖像序列的特征；
3)依據編碼圖像序列的特征對所述姿態進行分類，得到檢測物姿態的動作識別結果。
2.如權利要求1所述的方法，其特征在于，檢測物包括人體整體、人體局部、動物或機器人；人體局部包括人手或人臉。
3.如權利要求1所述的方法，其特征在于，獲取編碼圖像序列的方法包括：計算兩兩關節之間的歸一化距離其中dij為歐氏距離，gij為測地線距離，1≤i≤N，1≤j≤N，i≠j，N為待檢測物的關節數量。
4.如權利要求3所述的方法，其特征在于，通過以下步驟計算測地線距離：
1)若關節Ji與關節Jj存在連接關系，則關節Ji與關節Jj之間的邊的權重wij＝dij；若關節Ji與關節Jj不存在連接關系，則關節Ji與關節Jj之間的邊的權重為非常大的常數；
2)計算兩兩關節之間的最短距離，得到測地線距離，其中計算最短距離的方法包括：Floyd算法。
5.如權利要求1所述的方法，其特征在于，通過以下步驟得到檢測物姿態的動作識別結果：
1)獲取若干樣本姿態，將所述樣本姿態編碼成樣本圖像；
2)獲取兩兩關節在不同時間步長組成不同時間維度上的樣本編碼圖像序列，得到若干樣本編碼圖像序列，并依據若干樣本所述編碼圖像序列，構建樣本編碼圖片金字塔；
3)使用機器學習算法或深度學習算法，對提取的樣本編碼圖片金字塔中每一樣本編碼圖像序列的樣本特征進行分類，得到動作識別模型；
4)將編碼圖片金字塔中每一編碼圖像序列或每一編碼圖像序列的特征，輸入到動作識別模型，得到檢測物姿態的動作識別結果。
6.如權利要求5所述的方法，其特征在于，機器學習算法包括：三維神經網絡、支持向量機、Adaboost或CNN+LSTM。
7.如權利要求6所述的方法，其特征在于，所述三維神經網絡包括：3個卷積模塊、2個全連接層和一個softmax層，其中每一卷積模塊包括兩個3D卷積操作、兩個Relu激活函數和一個平均池化層。
8.一種基于姿態編碼的動作識別方法，其步驟包括：
1)提取檢測物的姿態，將所述姿態編碼成圖像；
2)獲取兩兩關節在不同時間步長組成不同時間維度上的編碼圖像序列，得到若干編碼圖像序列，并依據若干所述編碼圖像序列，構建編碼圖片金字塔，提取編碼圖片金字塔中每一編碼圖像序列的特征；
3)對于獲取所述檢測物姿態的RGB圖像序列，提取RGB圖像序列的光流特征與RGB流特征，并在不同時間步長上融合編碼圖像序列的特征、光流特征與RGB流特征，得到融合特征；
4)依據融合特征對所述姿態進行分類，得到檢測物姿態的動作識別結果。
9.一種存儲介質，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行權利要求1-8中任一所述方法。
10.一種電子裝置，包括存儲器和處理器，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行如權利要求1-8中任一所述方法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學院軟件研究所，未經中國科學院軟件研究所許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110156920.2/1.html，轉載請聲明來源鉆瓜專利網。
