[發明專利]一種基于誘導式深度學習的動作識別方法有效
| 申請號： | 201910364764.1 | 申請日： | 2019-04-30 |
| 公開（公告）號： | CN110084214B | 公開（公告）日： | 2021-09-28 |
| 發明（設計）人： | 韓云;呂小英 | 申請（專利權）人： | 內江師范學院 |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00 |
| 代理公司： | 成都弘毅天承知識產權代理有限公司 51230 | 代理人： | 李春霖 |
| 地址： | 641112 四川*** | 國省代碼： | 四川;51 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 誘導 深度 學習 動作 識別 方法 | ||
1.一種基于誘導式深度學習的動作識別方法，其特征在于：包括以下步驟
步驟1：利用相機獲取用于動作識別的視頻序列；
步驟2：對所述視頻序列進行預處理，得到一種或多種不同特性的信息源序列；
所述步驟2中信息源序列包括：RGB視頻流、人體關節點信息流、RGB視頻流相鄰幀圖像進行差值運算后的運動流、人體關節點信息流相鄰幀圖像進行差值運算后的運動流；
步驟3：選擇一種或多種類型的特征，構建提取所選類型特征的深度學習網絡；
所述步驟3中所述深度學習網絡對特征進行提取采用的特征源包括：RGB視頻流的每幀圖像、RGB視頻流相鄰幀圖像進行差值運算后的運動流的每幀圖像、人體關節點信息流每幀圖像中的人體動作、人體關節點信息流相鄰幀圖像進行差值運算后的運動流的每幀圖像中的人體動作；
步驟4：將所述信息源序列輸入所述深度學習網絡中提取特征，得到所述視頻序列的動作類型；
所述步驟4中，將特征流輸入深度學習網絡架構中進行動作識別具體為：
步驟41：將RGB視頻流按幀序列輸入識別結構A中進行識別，同時將RGB視頻流相鄰幀圖像進行差值運算后的運動流輸入與識別結構A相同的識別結構B中進行識別；
將人體關節點信息流按幀序列輸入識別結構C中進行識別，同時將人體關節點信息流相鄰幀信息進行差值運算后的運動流輸入與識別結構C相同的識別結構D中進行識別；
步驟42：將所述識別結構A、識別結構B、識別結構C和識別結構D的識別結果輸入決策融合模塊得出該視頻序列的動作類型；
所述步驟41中識別結構A和識別結構B均包括依次連接的3D CNN、全連接層和Softmax層，
所述識別結構C和識別結構D均包括依次連接的帶全局時空注意力模型的LSTM、全連接層和Softmax層。
2.根據權利要求1所述的一種基于誘導式深度學習的動作識別方法，其特征在于：所述步驟2中，所述預處理得到的信息源序列包括降采樣后的RGB視頻流以及位置校正后的人體關節點信息流。
3.根據權利要求2所述的一種基于誘導式深度學習的動作識別方法，其特征在于：所述位置校正包括對單個關節點遺失進行的校正以及對肢體部位遺失進行的校正。
4.根據權利要求3所述的一種基于誘導式深度學習的動作識別方法，其特征在于：所述對單個關節點遺失進行校正的步驟包括：
步驟211：獲取人體關節點信息流中T時刻圖像上遺失的關節點A和與所述關節點A相連接的關節點B；
步驟212：獲取T時刻圖像前后的N幀圖像，定義所述關節點A對所述關節點B的變化范圍為Δx，y，則
其中x表示關節點的橫坐標，y表示關節點的縱坐標，t表示人體關節點信息流的時間序列，Ax，y(t)表示關節點A在時刻t的位置，Bx，y(t)表示關節點B在時刻t的位置；
步驟213：利用所述變化范圍得到在T時刻關節點A的位置為：Ax，y(T)＝Bx，y(T)+Δx，y(2)，其中，Bx，y(T)表示關節點B在T時刻的位置。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于內江師范學院，未經內江師范學院許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910364764.1/1.html，轉載請聲明來源鉆瓜專利網。
