[發明專利]基于跳接注意力機制的人體動作預測方法有效
| 申請號： | 202011067849.2 | 申請日： | 2020-10-07 |
| 公開（公告）號： | CN112315456B | 公開（公告）日： | 2022-02-11 |
| 發明（設計）人： | 舒祥波;張瑞鵬;宋硯;唐金輝 | 申請（專利權）人： | 南京理工大學 |
| 主分類號： | A61B5/11 | 分類號： | A61B5/11;A61B5/00 |
| 代理公司： | 北京化育知識產權代理有限公司 11833 | 代理人： | 尹均利 |
| 地址： | 210094 *** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 注意力 機制 人體 動作 預測 方法 | ||
1.一種基于跳接注意力機制的人體動作預測方法，其特征在于，包括以下步驟：
步驟1、輸入一段人體骨骼點坐標序列，對其進行歸一化處理，得到處理后的一段人體骨骼點坐標序列；
步驟2、將每一幀的人體骨骼點坐標輸入到由多層的自更新卷積門控循環網絡組成的編碼器中，提取得到人體骨骼點序列的分層特征；
步驟3、將最后一個時間步的門控循環網絡提取的分層特征聚合得到人體動作的長期語義向量；
步驟4、將編碼器提取的分層特征和前一幀人體骨骼點輸入到解碼器得到分層特征；
步驟5、使用跳接注意力機制根據編碼器的人體動作長期語義向量來計算解碼器每一層特征的權重，以此來調整分層特征的重要性；
步驟6、將調整后的分層特征和人體動作長期語義向量連接成新的特征，新特征經過卷積神經網絡生成待預測的人體骨骼點幀與前一幀的變化量；
步驟7、將骨骼點變化量與解碼器的輸入幀相加，再進行歸一化數據的還原，得到最終的人體動作骨骼點的預測值；
步驟7具體包括如下步驟：
將最后一個時間步t人體骨骼點變化量和最后一個時間步t解碼器的輸入人體骨骼點坐標yt相加得到預測的時間步t+1的人體骨骼點坐標yt+1：
最后將預測的時間步t+1的人體骨骼點yt+1進行歸一化數據的還原，最終得到時間步t+1的人體動作骨骼點的預測值。
2.根據權利要求1所述的基于跳接注意力機制的人體動作預測方法，其特征在于，步驟5具體包括如下步驟：
步驟501、解碼器每一層特征的權重的計算是依靠人體動作長期語義向量的，給定時間步t第n層的特征，分數計算公式如下：
其中Wf是權重矩陣，bf是偏置向量，C表示人體動作的長期語義向量；
步驟502、分數代表解碼器各層特征的重要性，使用Softmax函數來歸一化分數：
最后表示解碼器各層調整后的特征。
3.根據權利要求2所述的基于跳接注意力機制的人體動作預測方法，其特征在于，步驟6具體包括如下步驟：
將解碼器調整后的時間步t的特征和人體動作長期語義向量連接，經過卷積操作生成人體骨骼點的變化量：
。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于南京理工大學，未經南京理工大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011067849.2/1.html，轉載請聲明來源鉆瓜專利網。
