[發明專利]基于OpenPose的單目相機手語識別方法有效
| 申請號： | 201810151624.1 | 申請日： | 2018-02-13 |
| 公開（公告）號： | CN108537109B | 公開（公告）日： | 2021-07-09 |
| 發明（設計）人： | 薛啟凡;李煊鵬 | 申請（專利權）人： | 東南大學 |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00 |
| 代理公司： | 南京蘇高專利商標事務所(普通合伙) 32204 | 代理人： | 柏尚春 |
| 地址： | 211189 江*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 openpose 相機 手語 識別 方法 | ||
1.一種基于OpenPose的單目相機手語識別方法，其特征在于，包括以下步驟：
(1)用攝像機采集演示者手語的視頻數據；
(2)將采集的視頻數據輸入到OpenPose系統中，初步提取包括x軸坐標和y軸坐標以及置信度的三維特征數據；
(3)選取初步提取的特征點，以頸部為原點重新建立坐標系，并且在x軸方向和y軸方向進行歸一化，得到最終特征數據；
(4)對步驟(3)得到的特征數據用不同粒度進行掃描，得到維度更大擴展特征數據；
(5)將步驟(4)得到的擴展特征數據輸入到深度森林模型內進行多層語義識別，最后一層的輸出通過極值分類器得到最終語義的識別結果。
2.根據權利要求1所述的基于OpenPose的單目相機手語識別方法，其特征在于，所述步驟(1)中攝像機為單目攝像機。
3.根據權利要求1所述的基于OpenPose的單目相機手語識別方法，其特征在于，所述步驟(2)中讀取OpenPose輸出的特征點json文件，將文件中每一幀的x，y坐標按順序寫入特征數量矩陣， 對于置信度高于0.6的特征點，讀取每個特征點的x坐標與y坐標，對于置信度低于0.6的特征點，對相鄰特征點做均值插值進行預測，得到的特征數量矩陣數據即為初步提取的特征數據，數據格式為json，一幀圖片提取60個特征點，一個動作共60*n個特征點，其中n語義動作的幀數。
4.根據權利要求3所述的基于OpenPose的單目相機手語識別方法，其特征在于，所述步驟(3)選取其44個特征點，以頸部為原點重新建立坐標系，并且在x軸方向和y軸方向進行歸一化，得到n*44*2的最終特征數據。
5.根據權利要求1所述的基于OpenPose的單目相機手語識別方法，其特征在于，所述步驟(4)中采用三種不同的粒度進行掃描。
6.根據權利要求1所述的基于OpenPose的單目相機手語識別方法，其特征在于，所述步驟(5)中深度森林模型由若干層組成，每一層有兩個隨機森林和兩個完全隨機森林，第一層的輸入為步驟(4)中的擴展特征，第一層的輸出級與原始的擴展特征同時作為第二層的輸入，每一層都以上一層的輸出級與原始擴展特征同時作為輸入。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于東南大學，未經東南大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810151624.1/1.html，轉載請聲明來源鉆瓜專利網。
