[發明專利]一種工人作業工步規范視覺識別判定與指導方法及系統

有效

• 申請號: 201910914113.5
• 申請日: 2019-09-25
• 公開（公告）號: CN110738135B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 杜俊志;易王畫;方波
• 申請（專利權）人: 艾普工華科技（武漢）有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/56;G06V10/74
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 廉海濤

1.一種工人作業工步規范識別判定與指導方法，其特征在于，所述方法包括：

步驟1，獲取工人進行標準作業的視頻，根據視頻幀確定所述標準作業對應的監控區域的圖像的特征值的閾值；

步驟2，獲取實時的工人作業的視頻，判斷實時的工人作業的視頻幀中監控區域的圖像的特征值是否超過所述閾值；

步驟3，根據所述特征值是否超過所述閾值進行相應的工步提示和/或信息提示；

所述步驟1中獲取所述標準作業的視頻后，定義所述標準作業和無效作業的區別，獲取計算工步對應的閾值的參數，根據所述區別和所述參數確定所述標準作業對應的監控區域的圖像的特征值的閾值；

所述步驟1中獲取的所述參數還包括檢測區域面積area；

所述步驟1和所述步驟2中的所述圖像的特征值為特征顏色區域占比，所述特征顏色為所述作業工人作業時的運動部分攜帶的顏色，所述檢測區域面積為所述特征顏色的像素點輪廓最大包絡圓面積；

所述步驟2中判斷實時的工人作業的所述視頻幀中所述監控區域的所述圖像的特征值是否超過所述閾值的過程包括：

步驟201′,在所述視頻幀中選擇當前工步的檢測區域的坐標范圍；

步驟202′，將獲取的所述視頻幀通過顏色空間轉換函數從RGB模型轉化為HSV模型，利用HSV顏色空間對所述特征顏色進行提取，并通過圖像差運算進行運動分析去除圖像中的非特征顏色背景；

步驟203′，計算所述檢測區域中特征顏色點的個數n，計算敏感度m＝n/area；

步驟204′，所述敏感度m超過所述步驟1中確定的所述閾值時，判斷所述敏感度m超過所述閾值的持續時間是否超過設定的觸發檢測時間t1，是，執行步驟205′，否，計時清零；

步驟205′，統計所述敏感度m超過所述閾值的持續時間t2為所述工步的實際完成時間。

2.根據權利要求1所述的方法，其特征在于，所述參數包括：當前產品的類型、型號、所在的工序、所述工序所有的工步、各個所述工步對應的標準時長、作業正常提示信息和作業異常提示信息。

3.根據權利要求1所述的方法，其特征在于，所述步驟1中獲取的所述參數還包括觸發檢測時間t1，所述步驟2中判斷實時的工人作業的視頻幀中監控區域的圖像的特征值是否超過所述閾值之前，先判定是否滿足觸發檢測識別條件，包括：

采用機器視覺算法分析模塊對獲取的實時視頻流進行識別分析，在當前監控區域識別是否有人在動作并且動作時間超過設定的所述觸發檢測時間t1。

4.根據權利要求1所述的方法，其特征在于，所述步驟1中獲取的所述參數還包括背景圖像；

所述步驟1和所述步驟2中的所述圖像的特征值為與所述背景圖像之間的區域相似度。

5.根據權利要求4所述的方法，其特征在于，所述步驟2中判斷實時的工人作業的所述視頻幀中所述監控區域的所述圖像的特征值是否超過所述閾值的過程包括：

步驟201，在所述視頻幀中選擇當前工步的所述監控區域的坐標范圍；

步驟202，調用開源算法庫，將獲取的所述視頻幀轉為灰度圖像，計算所述監控區域與所述背景圖像之間的余弦相似度s；

步驟203，判斷所述余弦相似度s超過所述步驟1中確定的所述閾值時，統計所述余弦相似度s超過所述閾值的持續時間t2為所述工步的實際完成時間。

6.根據權利要求1所述的方法，其特征在于，所述步驟3包括：

若判斷完成該工步，提示工人作業的下一工步區域，通過背景圖上指示已完成、未完成、待完成工步區域，若檢測到當前工步完成但未按指示進入下一工步，則進行報警提醒；

若判定為異常作業，則進行異常提醒。

7.一種工人作業工步規范識別判定與指導系統，其特征在于，所述系統包括：視頻流接收模塊、客戶端配置器模塊、視頻流分析模塊、工步引導客戶端和主控機；所述視頻流接收模塊、客戶端配置器模塊、視頻流分析模塊和工步引導客戶端分別與主控機通信連接；

所述視頻流接收模塊，用于獲取工人進行標準作業的視頻以及實時的工人作業的視頻，并將所述視頻發送給所述主控機；

所述客戶端配置器模塊，用于在所述主控機的控制下根據所述視頻幀確定所述標準作業對應的監控區域的圖像的特征值的閾值；

所述視頻流分析模塊，判斷實時的工人作業的視頻幀中監控區域的圖像的特征值是否超過所述閾值；

所述工步引導客戶端，根據所述特征值是否超過所述閾值進行相應的工步提示和/或信息提示；

所述視頻流接收模塊獲取所述標準作業的視頻后，定義所述標準作業和無效作業的區別，獲取計算工步對應的閾值的參數，根據所述區別和所述參數確定所述標準作業對應的監控區域的圖像的特征值的閾值；

所述視頻流接收模塊獲取的所述參數還包括檢測區域面積area；

所述視頻流接收模塊和所述客戶端配置器模塊中的所述圖像的特征值為特征顏色區域占比，所述特征顏色為所述作業工人作業時的運動部分攜帶的顏色，所述檢測區域面積為所述特征顏色的像素點輪廓最大包絡圓面積；

所述客戶端配置器模塊判斷實時的工人作業的所述視頻幀中所述監控區域的所述圖像的特征值是否超過所述閾值的過程包括：

步驟201′,在所述視頻幀中選擇當前工步的檢測區域的坐標范圍；

步驟202′，將獲取的所述視頻幀通過顏色空間轉換函數從RGB模型轉化為HSV模型，利用HSV顏色空間對所述特征顏色進行提取，并通過圖像差運算進行運動分析去除圖像中的非特征顏色背景；

步驟203′，計算所述檢測區域中特征顏色點的個數n，計算敏感度m＝n/area；

步驟204′，所述敏感度m超過所述步驟1中確定的所述閾值時，判斷所述敏感度m超過所述閾值的持續時間是否超過設定的觸發檢測時間t1，是，執行步驟205′，否，計時清零；

步驟205′，統計所述敏感度m超過所述閾值的持續時間t2為所述工步的實際完成時間。