[發明專利]一種用于工件安裝關鍵工序視覺檢測與定位的方法及裝置

在審

• 申請號: 202110365813.0
• 申請日: 2021-04-06
• 公開（公告）號: CN112861823A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 梅雪;林榕;何毅;秦午陽;張啟航
• 申請（專利權）人: 南京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06Q10/06
• 代理公司: 江蘇瑞途律師事務所 32346
• 代理人: 蔣海軍

本申請公開了一種用于工件安裝關鍵工序視覺檢測與定位的方法及裝置，屬于視頻行為識別領域。在進行工件安裝工序檢測和定位時，首先采集工件安裝過程視頻圖像，提取圖像特征用于待檢測工序的粗定位；根據粗定位的結果以及工件整個安裝工序所需的時間，截取工件安裝中待檢測工序的視頻；將所截取的工件安裝工序視頻進行特征提取，得到工件安裝過程的動作特征，并進行分類，根據分類結果判斷工件安裝工序是否合格。本申請的裝置能夠實現本申請的相應方法步驟。本申請能夠對工件安裝工序視頻進行有效的檢測和定位，解決了現有技術對工廠中工件安裝工序檢測效果不佳的問題。

技術領域

本發明屬于視頻行為識別領域，具體涉及一種用于工件安裝關鍵工序視覺檢測與定位的方法及裝置。

背景技術

在生產批量大，技術密集的機械工業部門，如地鐵、高鐵、船舶等關鍵零部件的安裝中，很多工序中微小的動作差異將會對整個生產的質量有巨大的影響，工序不僅是產品零部件制造過程的基本環節，也是形成產品質量的基本環節，因此工序質量是企業現場質量控制的主要對象，也是生產現場質量保證體系中的關鍵。

一些重要部件的安裝工序由于工作量大、重復性高、對動作規范的要求嚴格，容易產生疲勞，造成各類人為質量問題(如螺絲松弛、脫落等)以及關鍵工序的動作是否準確有序完成等這些問題尤為重要。目前，對于多數工廠，多通過視頻監控，采集工件安裝過程的視頻，然后將視頻回傳到后臺服務器，然后通過人工查看視頻的方式，對工件的安裝過程進行目檢，但是單純依靠人工目檢的方式進行檢查，效率低下，管控效果差，不能很好的保證產品過程質量。

為了更高效的對安裝工序進行檢測，現有技術中提出了利用深度學習進行工序檢測的技術，例如申請號為201810137318.2的中國專利公開了一種基于深度學習的工序檢測裝置及其工序檢測方法，但是這類方法需要大量的工廠數據支撐，然而對于大多數工廠，往往難以滿足數據的需要，因此這類方法目前依然難以獲得有效的效果，對于工件安裝工序不能很好的進行檢測。

發明內容

技術問題：針對現有技術對工件的安裝工序檢測及定位效果不佳的問題，提出了一種用于工件安裝關鍵工序視覺檢測與定位方法及裝置，從而能夠對工件安裝工序進行有效的檢測和定位。

技術方案：一方面，本申請提供一種用于工件安裝關鍵工序視覺檢測與定位的方法，包括：

采集工件安裝過程視頻圖像，提取必要參照的圖像特征并進行定位；

根據所定位的必要參照的圖像特征以及工件整個安裝工序所需的時間，截取工件安裝工序視頻；

將所截取的工件安裝工序視頻進行特征提取，得到工件安裝過程的動作特征；

對所述動作特征進行分類，根據分類結果判斷工件安裝工序是否合格。

進一步地，所述提取必要參照的圖像特征并進行定位的方法包括：

以工件安裝過程中必經步驟或必需工具作為必要參照，通過必要參照的顏色、輪廓及紋理中的一種或多種，提取出必要參照的圖像特征；

將必要參照的圖像特征框出定位。

進一步地，所述根據所定位的必要參照的圖像特征以及工件整個安裝工序所需的時間，截取工件安裝工序視頻的方法包括：

將所定位的必要參照的圖像特征所在的視頻幀作為起始關鍵幀；

確定工件整個安裝工序所需時間；

以起始關鍵幀為節點，分別向前和向后截取若干分鐘長視頻，所述長視頻覆蓋工件整個安裝工序。

進一步地，所述將所截取的工件安裝工序視頻進行特征提取，獲得工件安裝過程關鍵視頻序列的動作特征的方法包括：

將所截取的工件安裝工序視頻分別采用背景剪除法和稠密軌跡法獲得動作邊界信息和動作行為特征；