[發明專利]一種工人作業工步規范視覺識別判定與指導方法和系統

有效

• 申請號: 202010556196.8
• 申請日: 2020-06-17
• 公開（公告）號: CN111881733B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 杜俊志;易王畫;方波
• 申請（專利權）人: 艾普工華科技（武漢）有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/764;G06V10/762
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 廉海濤

本發明實施例提供一種工人作業工步規范視覺識別判定與指導方法和裝置，通過視頻監控和工步提示來進行作業指導，有效防范作業出錯問題，提升良品率；可以通過在專用的培訓系統不斷進行標準工步對比來建立新工人的良好加工習慣；將工藝設計中傳統的工步描述(工步定義、工步描述和零部件加工位置等圖片)深入到了可被標準的層次；基于智能工步系統，現有制造生產的工藝質量管理和生產指標都將進行重新定義和分解深化。如工序不良率、工序報廢率等指標都將演變為工步不良率和工步報廢率。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種工人作業工步規范視覺識別判定與指導方法和裝置。

背景技術

傳統上車間生產作業工人都是依據紙質作業指導書來進行作業，但是傳統紙質指導書的問題是不能察覺每一個工步是否按照規范作業，也不能夠直觀的指示工人如何作業。同時由于作業的復雜度，對于作業人員的操作技能、注意力等提出了較高的要求，工人在作業過程中會出現操作不熟練、工步錯亂等問題，不但會影響工作效率，降低產品質量，甚至會出現人工傷害事故，因而需要有一套指導工人作業的工步引導及防范系統，防止作業遺漏和錯誤。

發明內容

本發明實施例提供一種工人作業工步規范視覺識別判定與指導方法和裝置，通過視頻監控和工步提示來進行作業指導，有效防范作業出錯問題，提升良品率。

第一方面，本發明實施例提供一種工人作業工步規范視覺識別判定與指導方法，包括：

獲取標準作業流程的標準人手軌跡序列及工步配置信息，實時捕捉工人作業的視頻流，以獲取工人每一次作業的實際人手軌跡序列；

對比所述標準人手軌跡序列和所述實際人手軌跡序列的相似性，若判斷獲知相似性在預設范圍內，則基于所述工步配置信息進行相應的工步提示和信息提示。

作為優選的，若判斷獲知當前機型無相應的工步配置信息，則自動保存本次作業視頻，以供后續實際作業監測調用比對。

作為優選的，獲取標準作業流程的標準人手軌跡序列，具體包括：

獲取標準作業的視頻流，逐幀讀取所述視頻流；

提取所述視頻流中包含人手的圖片，并獲取圖片中人手的位置；

將人手中心點位置的坐標組序列作為標準人手軌跡序列，保存至本地文件夾，以便后續實際作業監測調用比對。

作為優選的，提取所述視頻流中包含人手的圖片，并獲取圖片中人手的位置，具體包括：

將人手與背景進行對比度強化處理，使每一幀圖片二值化；

將每一幀的上一幀作為背景，記錄下來；同時更新先前得到的背景的權重，將最新的一幀背景的權重設為w，當前各幀累加的背景權重為1-w；將當前幀與背景做邏輯運算，將背景從當前幀中去除；

基于工人的作業區間，將檢測區間從整個圖片中抽取出；

查找檢測區間中的等高線并累積，取等高線的中心作為人手的位置。

作為優選的，查找檢測區間中的等高線并累積，取等高線的中心作為人手的位置，具體包括：

篩選個數大于第一閾值的等高線，若沒有則認為當前幀中沒有人手，若有則累積提取的等高線，找出等高線在x軸和y軸上的范圍；

若在任何一個方向上的范圍不大于第二閾值，則判斷獲知當前幀中只有一只人手，取等高線的中心作為人手的位置；

若在任何一個方向上的范圍大于第二閾值，則基于聚類算法除去當前幀中非人手因素造成的異類點，并取等高線的中心作為人手的位置。

作為優選的，實時捕捉工人作業的視頻流前，還包括：