[發明專利]人體連續動作相似性評價方法及評價裝置

在審

• 申請號: 202011190897.0
• 申請日: 2020-10-30
• 公開（公告）號: CN112257642A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 楊躒;張文;張海波;劉豐凱;許楠
• 申請（專利權）人: 上海龐勃特科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京科石知識產權代理有限公司 11595
• 代理人: 李艷霞

1.一種人體連續動作相似性評價方法，其特征在于，包括以下步驟：

搭建模板動作庫，其具體過程為：

獲取第一人體運動時的彩色圖像序列和深度圖像序列；

獲取第一人體關鍵點相對相機坐標系的三維坐標；

截取第一人體關鍵點的坐標序列并將其作為待對比的模板動作序列，模板動作序列構成模板動作庫；

獲取輸入動作序列，其具體過程為：

獲取第二人體運動時的一幀彩色圖像和深度圖像；

獲取第二人體關鍵點相對相機坐標系的三維坐標；

從模板動作庫中選取待對比的模板動作序列，并獲取該模板動作序列的時間長度；

截取與模板動作序列的時間長度相同且截止時間為當前輸入的第二人體關鍵點坐標序列最新時間的第二人體關鍵點坐標序列，并將其作為輸入動作序列；

對輸入動作和模板動作的相似性進行實時評價，其具體過程：

分別提取模板動作序列的特征和輸入動作序列的特征；

分別對模板動作序列的特征和輸入動作序列的特征進行標準化處理；

計算輸入動作序列與模板動作序列中各對應特征的距離值；

根據各對應特征的距離值計算得到綜合相似性評價值；

根據綜合相似性評價值得到最終的相似性評價結果。

2.根據權利要求1所述的人體連續動作相似性評價方法，其特征在于，所述第一人體關鍵點和第二人體關鍵點均包括兩肩中心、頭、右肩、右肘、右腕、左肩、左肘、左腕、右髖、右膝、右踝、左髖、左膝和左踝。

3.根據權利要求1所述的人體連續動作相似性評價方法，其特征在于，所述獲取第一人體關鍵點相對相機坐標系的三維坐標的過程為：

采用深度學習方法獲得第一人體關鍵點在各彩色圖像上的像素坐標；

利用彩色圖像與深度圖像的映射關系完成第一人體關鍵點的三維重建，得到第一人體關鍵點相對相機坐標系的三維坐標；

所述獲取第二人體關鍵點相對相機坐標系的三維坐標的過程為：

采用深度學習方法獲得第二人體關鍵點在獲取的一幀彩色圖像上的像素坐標；

利用彩色圖像與深度圖像的映射關系完成第二人體關鍵點的三維重建，得到第二人體關鍵點相對相機坐標系的三維坐標。

4.根據權利要求1或2或3所述的人體連續動作相似性評價方法，其特征在于，所述模板動作序列的特征和輸入動作序列的特征均包括人體中心特征、桿件方向特征和人體末端位置特征。

5.根據權利要求4所述的人體連續動作相似性評價方法，其特征在于，所述人體中心特征包括兩肩中心的三維坐標；所述桿件方向特征包括兩肩中心與頭之間的、兩肩中心與右肩之間的、右肩與右肘之間的、右肘與右腕之間的、兩肩中心與左肩之間的、左肩與左肘之間的、左肘與左腕之間的、兩肩中心與右髖之間的、右髖與右膝之間的、右膝與右踝之間的、兩肩中心與左髖之間的、左髖與左膝之間的以及左膝與左踝之間的桿件方向向量；所述人體末端位置特征包括頭、右腕、左腕、右踝和左踝的三維坐標。

6.根據權利要求5所述的人體連續動作相似性評價方法，其特征在于，所述分別對模板動作序列的特征和輸入動作序列的特征進行標準化處理包括：對人體中心特征的三維坐標進行Zscore數據標準化處理、對桿件方向特征進行標準化處理以及對頭、右腕、左腕、右踝和左踝的三維坐標進行Zscore數據標準化處理。