[發明專利]連續動作的識別方法、裝置、介質及設備

有效

• 申請號: 202011459110.6
• 申請日: 2020-12-11
• 公開（公告）號: CN112464882B
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 梁帆
• 申請（專利權）人: 東莞先知大數據有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;A61L2/24
• 代理公司: 北京知匯林知識產權代理事務所(普通合伙) 11794
• 代理人: 董濤

1.一種連續動作的識別方法，其特征在于，所述方法包括：

將多幀具有時序關系的圖像分別輸入操作對象識別模型和操作人員識別模型，在每幀圖像中分別獲得操作對象檢測框和操作人員檢測框；

根據所述操作對象檢測框和所述操作人員檢測框篩選出位于操作對象的工作區域內的操作人員圖像；

將篩選出來的操作人員圖像輸入肢體識別模型，在每幀圖像中獲得所述操作人員的肢體關鍵點坐標；

對所有幀圖像中所述操作人員的肢體關鍵點坐標進行標準化處理；

計算標準化處理后的操作人員的肢體關鍵點坐標與各標準動作集合的相似度得分，當所述相似度得分大于分數閾值時，判斷所述操作人員執行了與標準動作集合中相應的動作；

其中，所述對所有幀圖像中所述操作人員的肢體關鍵點坐標進行標準化處理包括：

對每幀圖像中所述操作人員的肢體關鍵點的坐標進行平滑處理并進行均值計算，獲得所述操作人員的骨骼中心；

計算每幀圖像中所述骨骼中心到事先訓練好的操作對象表面直線的投影長度，在所有幀圖像中獲得投影長度集合；

根據所有幀圖像中操作人員的肢體關鍵點坐標集合和投影長度集合對所述操作人員的肢體關鍵點坐標進行長度標準化和數目標準化處理，其中，為肢體關鍵點的坐標，i表示肢體關鍵點的類型，j表示該幀圖像的時間序號；

其中，所述長度標準化的公式如下：

其中，，為標準距離，，即為所述投影長度集合中的最大值；

所述數目標準化的公式如下：

其中，int[x]為x的取整，，r表示肢體關鍵點的序號，為第i個肢體關鍵點在肢體關鍵點坐標集合中的個數，為第i個肢體關鍵點在所述標準動作集中的個數，表示標準化處理后的肢體關鍵點集合；

其中，所述計算標準化處理后的操作人員的肢體關鍵點坐標與各標準動作集的相似度得分，當所述相似度得分大于分數閾值時，判斷所述操作人員執行了與標準動作集中相應的動作包括：

對于所有幀圖像，采用長度為t的時間窗，按照時間方向以預設步長滑動，計算每個時間窗內所述標準化處理后的肢體關鍵點集合與各標準動作集的相似度得分，得到每個時間窗內相似度得分結果，其中，n表示待測視頻的幀率，g表示時間窗的中心時間，其中，相似度計算公式如下：

其中，m表示一個標準動作集中的幀數，表示標準動作集，表示標準動作信息集的平均值，表示時間窗內動作集，表示時間窗內動作信息集的平均值，，

其中，、、分別表示操作人員的手腕、手肘、肩膀關鍵點坐標，方程表示過所述操作人員的骨骼中心且垂直于操作對象表面的直線方程，其中，k和b表示過所述操作人員的骨骼中心且垂直于操作對象表面的直線方程的參數，方程表示操作對象表面的直線方程，和表示操作對象表面的直線方程的參數；

將所有時間窗內的相似度得分結果組成向量并乘以相應的權重后獲得總相似度得分，當所述總相似度得分大于得分閾值時，判斷所述操作人員執行了與標準動作集合中相應的動作，并記錄總相似度得分大于得分閾值的時間段。

2.根據權利要求1所述的連續動作的識別方法，其特征在于，所述操作對象為消毒柜，所述標準動作及中的動作包括打開消毒柜門、關閉消毒柜門、向消毒柜內搬運餐具和向消毒柜外搬運餐具。

3.根據權利要求1所述的連續動作的識別方法，其特征在于，所述根據所述操作對象檢測框和所述操作人員檢測框篩選出位于操作對象的工作區域內的操作人員圖像包括：

計算所述操作對象檢測框的中心點和所述操作人員檢測框的中心點之間的歐氏距離；

當所述歐氏距離小于距離閾值時，篩選出位于操作對象的工作區域內的操作人員圖像。

4.根據權利要求1所述的連續動作的識別方法，其特征在于，在記錄總相似度得分大于得分閾值的時間段之后，所述方法還包括：

判斷所述操作人員在相同時間段內是否執行了兩個以上的動作；

若是，則刪掉相同時間段內執行的兩個以上的動作，得到待測視頻內的連續動作。