[發明專利]一種用于工件安裝關鍵工序視覺檢測與定位的方法及裝置

在審

• 申請號: 202110365813.0
• 申請日: 2021-04-06
• 公開（公告）號: CN112861823A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 梅雪;林榕;何毅;秦午陽;張啟航
• 申請（專利權）人: 南京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06Q10/06
• 代理公司: 江蘇瑞途律師事務所 32346
• 代理人: 蔣海軍

1.一種用于工件安裝關鍵工序視覺檢測與定位的方法，其特征在于，包括：

采集工件安裝過程視頻圖像，提取必要參照的圖像特征并進行定位；

根據所定位的必要參照的圖像特征以及工件整個安裝工序所需的時間，截取工件安裝工序視頻；

將所截取的工件安裝工序視頻進行特征提取，得到工件安裝過程的動作特征；

對所述動作特征進行分類，根據分類結果判斷工件安裝工序是否合格。

2.根據權利要求1所述的方法，其特征在于，所述提取必要參照的圖像特征并進行定位的方法包括：

以工件安裝過程中必經步驟或必需工具作為必要參照，通過必要參照的顏色、輪廓及紋理中的一種或多種，提取出必要參照的圖像特征；

將必要參照的圖像特征框出定位。

3.根據權利要求2所述的方法，其特征在于，所述根據所定位的必要參照的圖像特征以及工件整個安裝工序所需的時間，截取工件安裝工序視頻的方法包括：

將所定位的必要參照的圖像特征所在的視頻幀作為起始關鍵幀；

確定工件整個安裝工序所需時間；

以起始關鍵幀為節點，分別向前和向后截取若干分鐘長視頻，所述長視頻覆蓋工件整個安裝工序。

4.根據權利要求1所述的方法，其特征在于，所述將所截取的工件安裝工序視頻進行特征提取，獲得工件安裝過程關鍵視頻序列的動作特征的方法包括：

將所截取的工件安裝工序視頻分別采用背景剪除法和稠密軌跡法獲得動作邊界信息和動作行為特征；

將所述動作邊界信息和動作行為特征進行特征融合；

將融合后的特征送入特征提取網絡中進行識別，得到工件安裝過程的動作特征。

5.根據權利要求4所述的方法，其特征在于，將所截取的工件安裝工序視頻進行特征提取，獲得工件安裝過程關鍵視頻序列的動作特征的方法還包括：對特征提取網絡進行訓練；訓練方法包括：

收集工件安裝工序的視頻樣本；

根據工件安裝工序，對感興趣的視頻樣本進行分割；

對分割后的視頻段進行標注，并作為用于訓練特征提取網絡的訓練樣本；

利用訓練樣本對特征提取網絡進行訓練。

6.根據權利要求4所述的方法，其特征在于，所述特征提取網絡為C3D網絡，所述C3D網絡中的池化層Pool5的池化核大小為7×7，步長為7。

7.根據權利要求1-6任一項所述的方法，其特征在于，所述對動作特征進行分類的方法包括：

利用Softmax分類器對動作特征進行分類，并進行回歸優化。

8.根據權利要求7所述的方法，其特征在于，所述根據分類結果判斷操作工人是否按工序要求安裝工件的方法包括：

通過Softmax分類器，獲得每個操作工序的得分；

根據每個工序的得分與相應工序的分數閾值，判斷該工序是否合格。

9.根據權利要求8所述的方法，其特征在于，還包括：在根據分類結果進行判斷后，若合格，則將檢測完成的視頻歸檔；若不合格，則進行預警提示，并提示對相應工序進行復檢。

10.一種用于工件安裝關鍵工序視覺檢測與定位的裝置，其特征在于，包括：

視頻圖像采集模塊，用于采集工件安裝過程視頻圖像；

參照定位模塊，用于提取必要參照的圖像特征并進行定位；

工序視頻截取模塊，用于根據所定位的必要參照的圖像特征以及工件整個安裝工序所需時間，截取工件安裝工序視頻；

特征提取模塊，用于將所截取的工件安裝進行特征提取，獲得工件安裝過程關鍵視頻序列的動作特征；

評估模塊，用于對所述動作特征進行分類，根據分類結果判斷工件安裝工序是否合格。