[發明專利]一種基于深度學習的監測裝配操作的方法和裝置

有效

• 申請號: 201911383314.3
• 申請日: 2019-12-28
• 公開（公告）號: CN111062364B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 陳成軍;宋怡仁;王天諾;洪軍;李正浩;鄭帥;李東年
• 申請（專利權）人: 青島理工大學;西安交通大學;中國科學院重慶綠色智能技術研究院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/776;G06N3/08;G06V10/82
• 代理公司: 福州科揚專利事務所(普通合伙) 35001
• 代理人: 魏珊珊

本發明涉及一種基于深度學習的監測裝配操作的方法和裝置，所述監測裝配動作的方法包括以下步驟步驟：建立裝配工具樣本集：拍攝實驗人員進行裝配動作的影像，收集影像中不同裝配工具的圖像，并對各圖像進行標注，生成圖像標簽，收集所有圖像標簽作為樣本集；訓練裝配工具監測模型：將裝配工具樣本集送入目標檢測深度學習網絡模型中進行訓練，生成裝配工具監測模型；實時監測：識別裝配現場裝配工人進行裝配的影像，識別影像中裝配工人使用的裝配工具；裝配動作次數監測：識別到影像中的裝配工具后，將影像送入人體姿態識別網絡模型中進行識別，識別人體關節運動信息，使用人體關節運動信息判斷裝配工人進行裝配動作的次數。

技術領域

本發明涉及一種基于深度學習的監測裝配操作的方法和裝置，屬于智能制造、裝配監測技術領域。

背景技術

在大規模定制生產模式中，工廠常常需要充分利用現有資源重組裝配生產線以生產不同產品，從而滿足用戶的個性化需求。而裝配工人常常會難以適應這種多變的生產模式，從而導致遺忘關鍵操作步驟或操作程度不達標等現象，影響產品質量。

因此，對工人裝配動作進行監測，可以防止裝配工人遺忘關鍵操作步驟以及操作程度不達標等現象，避免產品質量問題的出現。以往工業領域都將監測重點放在了故障診斷、表面缺陷等檢測上，這樣不能及時的避免問題的發生，而對裝配過程中工人的裝配動作進行監測則可以及時發現問題并對裝配工人進行提醒，從而降低產品不合格率及生產成本。因此，如何低成本高效率的對裝配過程中工人的裝配動作進行監測將是未來裝配制造業的發展方向。

計算機視覺技術就是讓計算機像人類一樣，通過一定算法實現對圖像或視頻的分析理解。近年來，隨著深度學習算法在計算機視覺領域的廣泛應用，模式識別、目標檢測、動作識別、人體姿態估等任務都獲得了突破性進步。深度學習能夠自適應學習特征，只需要設計合適的神經網絡模型便可以進行端到端的訓練，避免了傳統機器學習中的特征工程，不再需要復雜的人工設計特征。因此，利用基于深度學習的計算機視覺技術進行裝配動作監測可以有效避免產品質量問題。

發明內容

為了解決上述技術問題，本發明一種基于深度學習的監測裝配操作的方法和裝置，利用目標檢測和姿態識別技術，實現對工人裝配動作的識別與動作次數判斷，以此實現產品裝配過程的監測，提高智能化程度、減少運營成本并縮短生產周期。

本發明所采用的技術方案如下：

技術方案一：

一種基于深度學習的監測裝配操作的方法，包括以下步驟：

建立裝配工具樣本集：實驗人員使用不同的裝配工具進行裝配動作，拍攝實驗人員進行裝配動作的影像，收集影像中不同裝配工具的圖像，并對各圖像進行標注，生成包含圖像中工具類別信息和位置信息的圖像標簽，收集所有圖像標簽作為裝配工具樣本集；

訓練裝配工具監測模型：將裝配工具樣本集送入目標檢測深度學習網絡模型中進行訓練，生成裝配工具監測模型；

實時監測：在裝配現場安裝攝像機實時拍攝裝配工人進行裝配的影像，并將影像送入裝配工具監測模型中進行識別，識別影像中裝配工人使用的裝配工具；

裝配動作次數監測：識別到影像中裝配工人使用的裝配工具后，將影像送入人體姿態識別網絡模型中進行識別，識別裝配工人人體關節運動信息，使用人體關節運動信息判斷裝配工人使用當前影像中的裝配工具進行裝配動作的次數；

錯誤預警：將裝配工人操作裝配工具的順序以及使用各裝配工具進行裝配動作的次數與原定裝配生產線的裝配流程進行比對，根據比對結果向裝配工人提示裝配是否正確。

進一步的，所述建立裝配工具樣本集步驟具體為：

采用RGB攝像頭對多位實驗人員的裝配動作進行拍攝，拍攝每位實驗人員進行不同裝配動作的影像，每個裝配動作拍攝10秒，每秒提取10張圖像；