[發明專利]一種基于監控視頻的器件緊固操作的檢測方法

有效

• 申請號: 201911377115.1
• 申請日: 2019-12-27
• 公開（公告）號: CN111222428B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 任永建;師天磊;許志強;孫昌勛
• 申請（專利權）人: 北京容聯易通信息技術有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06Q10/10;G06Q50/04
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 陳國軍

1.一種基于監控視頻的器件緊固操作的檢測方法，其特征在于，所述基于監控視頻的器件緊固操作的檢測方法包括如下步驟：

步驟S1，獲取關于操作區域的若干垂直監控視頻，并根據所述若干垂直監控視頻對預設器件緊固操作識別算法進行訓練處理，具體包括：

步驟S101，對所述器件緊固操作對應的流水生產線進行工序分解處理，以確定所述流水生產線對應每一個緊固操作點的操作區域屬性，具體包括：獲取所述流水生產線中對于加工對象的不同待緊固部件對應的緊固操作工序，以確定所述不同待緊固部件對應的緊固操作點關于內部環境和/或外部環境的所述操作區域屬性；

步驟S102，根據每一個緊固操作點的操作區域屬性，確定每一個緊固操作點對應的攝像頭布置方式和/或攝像頭拍攝模式，具體包括：步驟S1021，根據每一個緊固操作點的操作區域屬性，確定所述每一個緊固操作點在所述流水生產線中的緊固操作空間信息、緊固操作障礙信息和緊固操作允許時間信息中的至少一者；步驟S1022，根據所述緊固操作空間信息、所述緊固操作障礙信息和所述緊固操作允許時間信息中的至少一者，確定攝像頭相對于所述緊固操作點的垂直布置方式和/或所述攝像頭的拍攝焦距和/或所述攝像頭的抓拍頻率；

步驟S103，根據每一個緊固操作點對應的攝像頭布置方式和/或攝像頭拍攝模式，獲取每一個緊固操作點對應的垂直監控視頻，具體包括：在確定每一個緊固操作點對應的攝像頭布置方式和/或攝像頭拍攝模式后，向所有緊固操作點對應的攝像頭發送拍攝觸發控制時序信號，以使每一個緊固操作點對應的攝像頭按照特定的時序獲取關于其對應緊固操作點的垂直監控視頻；

步驟S104，根據每一個緊固操作點對應的垂直監控視頻，對所述預設器件緊固操作識別算法進行訓練處理，具體包括：對每一個緊固操作點對應的垂直監控視頻進行訓練圖像幀的解碼摘選處理，并將摘選得到的若干幀垂直監控圖像輸入至所述預設器件緊固操作識別算法中，以實現所述訓練處理；

步驟S2，根據經過所述訓練處理的所述預設器件緊固操作識別算法，對實時獲得的垂直監控視頻進行不同操作元素的識別處理；

步驟S3，根據所述識別處理的結果，對相應的操作元素進行關于違規與否的判斷處理；

步驟S4，根據所述判斷處理的結果，對當前器件緊固操作的整體工序執行情況進行分析處理。

2.如權利要求1所述的基于監控視頻的器件緊固操作的檢測方法，其特征在于：

在所述步驟S2中，根據經過所述訓練處理的所述預設器件緊固操作識別算法，對實時獲得的垂直監控視頻進行不同操作元素的識別處理具體包括：

步驟S201，獲取經過所述訓練處理的所述預設器件緊固操作識別算法的容差度，并根據所述容差度確定對所述實時獲得的垂直監控視頻的解碼模式；

步驟S202，根據所述解碼模式，對所述實時獲得的垂直監控視頻進行解碼處理，以獲得在時間上連續的若干幀解碼圖像；

步驟S203，對所述若干幀解碼圖像進行靜態操作元素識別處理和/或動態操作元素識別處理，以獲得關于當前垂直監控視頻的靜態操作元素和/或動態操作元素。

3.如權利要求2所述的基于監控視頻的器件緊固操作的檢測方法，其特征在于：

在所述步驟S201中，獲取經過所述訓練處理的所述預設器件緊固操作識別算法的容差度，并根據所述容差度確定對所述實時獲得的垂直監控視頻的解碼模式具體包括：

獲取所述預設器件緊固操作識別算法對不同分辨率視頻的識別容差度，并根據所述實時獲得的垂直監控視頻的實際分辨率，來獲得具有相應解碼精確度的不同解碼模式；

在所述步驟S202中，根據所述解碼模式，對所述實時獲得的垂直監控視頻進行解碼處理，以獲得在時間上連續的若干幀解碼圖像具體包括：

根據所述解碼模式，對所述實時獲得的垂直監控視頻進行關于時序連續性的解碼處理，以獲得在時間上連續的所述若干幀解碼圖像；

在所述步驟S203中，對所述若干幀解碼圖像進行靜態操作元素識別處理和/或動態操作元素識別處理，以獲得關于當前垂直監控視頻的靜態操作元素和/或動態操作元素具體包括：

對所述若干幀解碼圖像中的每一幀進行關于加工對象整體或者部分以及操作人員數量的靜態操作元素進行識別處理，和/或進行關于操作人員對所述加工對象動作的動態操作元素識別處理，以獲得關于當前垂直監控視頻的靜態操作元素和/或動態操作元素。