[發明專利]基于機器視覺的零件檢測方法

有效

• 申請號: 202110541077.X
• 申請日: 2021-05-18
• 公開（公告）號: CN113129304B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 羅國富;李立偉;閆羲昊;明五一;李醫中;張圣飛;馬軍;李曉科;何文斌;都金光;侯俊劍;曹陽;劉琨
• 申請（專利權）人: 鄭州輕工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/62;G06V10/44;G06V10/82;G06N3/04;G06N3/08;B25J19/02;B25J15/08;B25J9/16
• 代理公司: 鄭州豫開專利代理事務所(普通合伙) 41131
• 代理人: 王金

1.基于機器視覺的零件檢測方法，用于識別攝像頭所拍攝的零件圖像中的零件缺陷，通過基于機器視覺的零件檢測機構來進行；

基于機器視覺的零件檢測機構包括機架，以被檢測零件的整體移動方向為下游方向，機架上由上游至下游方向依次設有輸入傳送機構、裝夾拍攝機構和輸出傳送機構；輸入傳送機構的傳送面與輸出傳送機構的傳送面相平齊；機架上還設有電控裝置，電控裝置連接有顯示屏和聲光報警器，電控裝置內具有圖像識別模塊；

其特征在于：裝夾拍攝機構包括鉸接在機架頂部的相機機械臂和安裝在機架中下部的裝夾裝置；相機機械臂由伺服電機驅動；

相機機械臂的自由端設有第一攝像頭，相機機械臂的自由端或者相機機械臂上方的固定結構上設有照明燈，伺服電機、照明燈和第一攝像頭均與電控裝置相連接；

裝夾裝置包括用于裝夾零件的裝夾結構、用于驅動裝夾部分旋轉的縱向旋轉結構、橫向旋轉結構和縱向翻轉結構；

初始狀態下，縱向翻轉結構的翻轉方向、縱向旋轉結構的旋轉方向以及橫向旋轉結構的旋轉方向兩兩垂直；

還包括有磁粉檢測裝置，磁粉檢測裝置包括檢測臺，檢測臺一側固定連接有儲粉箱，儲粉箱中存儲有磁粉；檢測臺上具有用于放置零件的零件位置，檢測臺上設有電動噴槍、吸粉器和連接桿，電動噴槍的進管連接儲粉箱的底部，電動噴槍的噴射方向朝向零件位置的零件；吸粉器的吸粉口朝向零件位置的零件，吸粉器的出粉口朝向儲粉箱；連接桿上安裝有第二攝像頭，第二攝像頭的拍攝方向朝向零件位置的零件；電動噴槍、吸粉器和第二攝像頭均與電控裝置相連接；

縱向翻轉結構包括支撐架，支撐架前端向上通過轉軸轉動連接有底框，底框的中后部向下鉸接有用于驅動底框縱向翻轉的翻轉氣缸，翻轉氣缸向下與機架相鉸接，翻轉氣缸與電控裝置相連接；

橫向旋轉結構包括旋轉用減速電機和旋轉框架，旋轉用減速電機的輸出軸為其轉動部分且其殼體為其固定部分，旋轉用減速電機的固定部分和轉動部分分別連接底框或旋轉框架；旋轉用減速電機連接電控裝置；

縱向旋轉結構包括固定連接在旋轉框架上的安裝架，安裝架轉動連接有平行相對設置的第一轉動圈和第二轉動圈，第一轉動圈的一側沿周向凸設有第一滾動導環，第二轉動圈的一側沿周向凸設有第二滾動導環；第一滾動導環下方的安裝架上設有兩個用于支撐第一滾動導環的第一槽輪，第一滾動導環插入第一槽輪的輪槽內；

第二滾動導環下方的安裝架上設有兩個用于支撐第二滾動導環的第二槽輪，第二滾動導環插入第二槽輪的輪槽內；

兩個第一槽輪和兩個第二槽輪組成支撐槽輪組，支撐槽輪組中至少一個槽輪連接有槽輪驅動電機且該槽輪作為主動槽輪，槽輪驅動電機與電控裝置相連接；

安裝架上安裝有壓輪，壓輪向下與第一轉動圈的底部內表面或第二轉動圈的底部內表面相壓接；

裝夾結構包括固定連接在第一轉動圈和第二轉動圈之間的前連接板和后連接板，前連接板和后連接板之間安裝有兩個裝夾用滾筒，兩個裝夾用滾筒內分別設有電磁鐵，電磁鐵與電控裝置相連接；兩個裝夾用滾筒之間設有驅動用滾筒，驅動用滾筒安裝在前連接板和后連接板之間，驅動用滾筒連接有滾筒驅動電機，滾筒驅動電機連接電控裝置；兩個裝夾用滾筒用于滾動輸送零件以及磁力裝夾零件；拍照時滾筒驅動電機用于微調零件位置；

兩個裝夾用滾筒和驅動用滾筒位于同一平面，將該平面稱為裝夾平面；裝夾結構具有對接狀態，裝夾結構位于對接狀態時裝夾平面與輸入傳送機構的傳送面以及輸出傳送機構的傳送面相平齊并且對接；

裝夾用滾筒下方的旋轉框架或安裝架上設有用于檢測零件的零件傳感器，零件傳感器與電控裝置相連接；

所述輸入傳送機構和輸出傳送機構結構相同，均包括并排間隔安裝在輥架上的若干傳送輥，傳送輥包括一個主動輥和若干從動輥，輥架安裝在機架上；機架上或輥架上安裝有用于驅動主動輥的輥筒驅動電機，輥筒驅動電機與電控裝置相連接；

磁粉檢測裝置和裝夾結構之間設有用于將零件轉運至磁粉檢測裝置上的轉運機械手；

基于機器視覺的零件檢測方法采用加權混合深度學習目標辨識算法，加權混合深度學習目標辨識算法的元深度學習算法包括RCNN算法、Faster-RCNN算法、R-FCN算法、YOLO算法、SSD算法和DenseBox算法；加權混合深度學習目標辨識算法存儲于電控裝置的圖像識別模塊中；所述6類元深度學習算法均通過離線進行訓練；

所述加權混合深度學習目標辨識算法在實時檢測時，由電控裝置通過第一攝像頭獲取零件六個表面多角度彩色圖像，圖像分辨率為1280像素×720像素；六個表面圖像包括上表面、下表面、前表面、后表面、左表面和右表面的圖像；

對零件的各表面圖像均執行以下缺陷標記處理：

(1)采用RCNN算法，初步判斷當前圖像是否存在表面缺陷，并標記所述表面缺陷對應的矩形區域，具體標記為RA1，RA2，RAm；

(2)采用Faster-RCNN算法，初步判斷當前圖像是否存在表面缺陷，并標記所述表面缺陷對應的矩形區域，具體標記為RB1，RB2，RBn；

(3)采用R-FCN算法，初步判斷當前圖像是否存在表面缺陷，并標記所述表面缺陷對應的矩形區域，具體標記為RC1，RC2，RCo；

(4)采用YOLO算法，初步判斷當前圖像是否存在表面缺陷，并標記所述表面缺陷對應的矩形區域，具體標記為RD1，RD2，RDw；

(5)采用SSD算法，初步判斷當前圖像是否存在表面缺陷，并標記所述表面缺陷對應的矩形區域，具體標記為RE1，RE2，REv；

(6)采用DenseBox算法，初步判斷當前圖像是否存在表面缺陷，并標記所述表面缺陷對應的矩形區域，具體標記為RF1，RF2，RFk；

(7)如果m、n、o、w、v和k中有四個以上的數值為0，則所述加權混合深度學習目標辨識算法判斷當前圖像不存在表面缺陷，否則轉到流程(8)；

(8)檢查各元深度學習算法標記的缺陷對應的矩形區域的位置，兩兩判斷是否相鄰或重疊；對相鄰或重疊的矩形區域進行合并，直到新生成的最終矩形區域均不重疊且不相鄰為止，最終的矩形區域標記為RG1，RG2，RGq，并將零件的該表面標記為疑似缺陷表面；

對一個零件的六個表面均進行缺陷標記處理后，由磁粉檢測裝置對零件的每一個疑似缺陷表面進行二次檢測。