[發明專利]一種動作識別方法、裝置、設備及介質

有效

• 申請號: 202010127230.X
• 申請日: 2020-02-28
• 公開（公告）號: CN113326713B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 崔維存;陳錄城;石恒;劉子力
• 申請（專利權）人: 卡奧斯工業智能研究院（青島）有限公司;青島藍鯨科技有限公司;海爾數字科技（青島）有限公司;卡奧斯物聯科技股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種動作識別方法，其特征在于，所述方法應用于后臺系統，所述方法包括：

接收AR設備上傳的操作員在作業過程中的操作視頻；

識別所述操作視頻中的至少一個手勢特征，并根據所述手勢特征，確定作業流程中包含的至少一個操作步驟，其中，所述操作步驟包含至少一個手勢特征；

確定各操作步驟的工時，并根據所述各操作步驟的工時，確定所述操作步驟是否與標準操作步驟匹配；

所述確定各操作步驟的工時，并根據所述各操作步驟的工時，確定所述操作步驟是否與標準操作步驟匹配，包括：

根據所述各操作步驟對應的開始手勢特征的出現時間和結束手勢特征的出現時間，確定所述各操作步驟的工時，其中，所述開始手勢特征是操作步驟對應的第一個手勢特征，所述結束手勢特征是操作步驟對應的最后一個手勢特征；

獲取與所述各操作步驟對應的各標準工時；

根據所述各操作步驟的工時與所述各標準工時，計算所述各操作步驟的工時誤差；

當所述工時誤差大于設定閾值時，確定所述操作步驟與所述標準操作步驟不匹配；

在確定所述操作步驟與所述標準操作步驟不匹配之后，還包括：

根據所述操作步驟中包含的至少一個手勢特征，將所述操作步驟劃分為至少一個作業動作，其中，每個作業動作對應一個手勢特征；

獲取所述操作員保持所述手勢特征的時間，作為與所述手勢特征對應的作業動作的工時；

根據所述各作業動作的工時與各作業對應的標準工時，計算所述各作業動作的工時誤差；

當所述工時誤差大于設定閾值時，確定所述作業動作與標準作業動作不匹配。

2.根據權利要求1所述的方法，其特征在于，識別所述操作視頻中的至少一個手勢特征，并根據所述手勢特征，確定作業流程包含的至少一個操作步驟，包括：

識別所述操作視頻中操作員的左右手分別對應的單手幾何特征，其中，所述單手幾何特征包括手勢輪廓以及手部運動中心；

根據所述單手幾何特征確定雙手位置關系，并由所述單手幾何特征和所述雙手位置關系共同構成操作員的手勢特征；

當所述手勢特征滿足設定的手勢特征識別條件時，確定所述手勢特征屬于所述手勢特征識別條件對應的操作步驟，并根據所述手勢特征將所述作業流程劃分為至少一個操作步驟；

其中，所述手勢特征識別條件是預先設定的與各操作步驟對應的至少一個標準手勢特征。

3.根據權利要求1所述的方法，其特征在于，在確定所述作業動作與標準作業動作不匹配之后，還包括：

當所述作業動作的工時大于所述各作業對應的標準工時時，并向所述AR設備發送操作誤差信息，以指示所述AR設備向所述操作員發起操作不規范語音提示；

當所述作業動作的工時小于所述各作業對應的標準工時時，對所述作業動作進行顯示，并發起操作優化提示，以提醒監控人員對所述作業動作進行是否具有可優化性的分析。

4.根據權利要求1所述的方法，其特征在于，在識別所述操作視頻中的至少一個手勢特征，并根據所述手勢特征，確定作業流程中包含的至少一個操作步驟之后，還包括：

根據所述至少一個操作步驟，進行虛擬作業流程的仿真，并將仿真結果進行顯示，以輔助監控人員對所述操作步驟進行分析。