[發明專利]帶材位置圖像數據集采集方法及其視覺檢測方法

有效

• 申請號: 202110572063.4
• 申請日: 2021-05-25
• 公開（公告）號: CN113269749B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 王東城;段伯偉;徐揚歡;汪永梅;于華鑫;劉宏民
• 申請（專利權）人: 燕山大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10
• 代理公司: 北京孚睿灣知識產權代理事務所(普通合伙) 11474
• 代理人: 孫建

1.一種帶材位置圖像數據集采集方法，其特征在于，帶材位置圖像數據集的采集包括以下步驟：

a1、搭建采集帶材位置圖像數據的環境：

a11、搭建模擬輥道，在地面相距W_roller的距離位置處平行粘貼黃色標志物，以此模擬輥道兩側邊部，并規定左側為操作側，右側為傳動側；

a12、分別選取多種表面光潔程度和帶有不同程度銹跡和氧化皮帶材，帶材實際寬度為B_strip、長度為L_strip，將帶材放置于模擬輥道的黃色標志物中間，模擬帶材軋制過程；

a2、采集帶材位置圖像數據，利用三腳架裝置固定攝像頭，調整三腳架固定攝像頭位置與地面高度為H，拍攝不同角度的數據集，固定攝像頭與地面呈垂直角度拍攝N張帶材位置圖像數據，調整攝像頭與地面呈θ角度，其中θ＝15°、30°、45°和75°，每個角度拍攝N張帶材位置圖像數據；

a3、在緊貼模擬輥道的黃色標志物上側固定放置一副標尺，以其零刻度對齊輥道中心點位置，標尺精度為1mm，用于測量帶材的位置量，首先將帶材放置于輥道中間位置，然后將帶材向操作側移動，每次移動量為d，直至帶材觸碰到操作側輥道，每次移動帶材后利用固定好的攝像頭以與地面呈垂直角度和與地面呈θ角度拍攝帶材位置圖像，并根據標尺測量出偏移輥道中心的距離并記錄；然后將帶材移回輥道中間位置，將帶材向傳動側移動，每次移動量為d，直至帶材觸碰到傳動側輥道，每次移動帶材后利用固定好的攝像頭以與地面呈垂直角度和與地面呈θ角度拍攝帶材位置圖像，并根據標尺測量出偏移輥道中心的距離并記錄；

a4、完成采集后會得到攝像頭與地面呈垂直角度拍攝以及和地面呈不同θ角度拍攝的帶材位置圖像及其對應偏移量的數據集記為Dataset；

b、建立帶材位置檢測分割模型，對帶材圖像數據集Dataset的處理過程為：

b1、首先判斷帶材位置圖像I的拍攝角度，若與地面呈垂直角度拍攝則進入步驟b3，否則進入b2；

b2、利用透視變換原理對拍攝的三維空間圖像進行圖像校正；進行圖像校正需要選取一個參照物，選取一張存在完整帶材的傾斜角度拍攝的帶材位置圖像I并取圖像上帶材的四個原始角點為(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，然后需要確定帶材在透視變換后得到的新坐標系圖像上的4個目標點(x′₁,y′₁)、(x′₂,y′₂)、(x′₃,y′₃)、(x′₄,y′₄)；帶材目標點(x′,y′)根據公式轉換成空間坐標(u,v,w)，然后根據透視變換公式求解出變換矩陣T，其中根據透視變換矩陣T將圖像所有點投影到新平面，變換后的結果記為I_transform；

b3、對經過透視變換b2步驟處理后的I_transform和呈垂直角度拍攝的帶材位置圖像I進行圖像分割處理；包括以下步驟：

b31、在垂直拍攝的原始帶材圖像I和b2步驟處理后的I_transform中，將模擬輥道的黃色標志物也采集到了圖像中，而這一部分屬于背景是不需要的，所以對圖像進行裁剪處理，裁剪到黃色貼紙內側最邊緣像素即為模擬輥道邊緣，裁剪后的圖像記為I_crop，尺寸大小為A×B；

b32、對步驟b31裁剪后的圖像I_crop進行圖像增強處理；包括以下步驟：

b321、調整圖像色階，根據帶材和輥道的背景，灰場數值Mid設置為1，黑場數值Shadow范圍在50-100之間調整，白場數值Highlight范圍在50-100之間調整；

b322、圖像進行濾波處理，采用中值濾波器去掉原圖像上銹跡氧化物等無用噪聲，中值濾波核大小范圍選定在80-120之間，濾波后再對圖像進行灰度化處理，將其轉換成單通道圖像數據，增強后的圖像記為I_aug；

b33、對圖像I_aug進行閾值分割處理，設置的分割閾值shreshold，分割出圖像中的帶材，得到分割結果I_seg；

c、根據分割結果I_seg計算帶材距輥道中心的偏移距離，具體的執行步驟為：

c1、將步驟b33分割后的圖像結果I_seg轉換成二維矩陣M_seg，并得到二維矩陣M_seg的高h和寬w，其中二維矩陣M_seg中的值為分割圖像I_seg中各點處的灰度值G_(i,j)，i＝1～h,j＝1～w；

c2、將二維矩陣M_seg的高h四等分，分別取作為提取圖像中帶材位置的基準高度，其中為向下取整符號；

c3、取出二維矩陣M_seg在基準高度H₁、H₂、H₃、H₄上表示帶材位置的標號；

c4、得到矩陣M_seg的四個基準高度上保存有帶材位置的集合其中元素和分別代表帶材在圖像上左右兩端位置標號，為減小誤差，計算四個基準高度上帶材位置標號的平均值，帶材左側位置標號為帶材右側位置標號為

c5、由于步驟b31已經將圖像進行裁剪，所以圖像左右兩側即代表操作側和傳動側，計算帶材在圖像中的寬度，記為B_stripImg＝P_right-P_left；計算圖像中帶材距操作側輥道距離為D_left＝P_left-0，計算圖像中帶材距傳動側輥道距離為D_right＝w-P_right；

c6、計算圖像與實際尺寸之間的比例尺，已知實際帶材寬度為B_strip，比例因子記為：Q＝B_strip/B_stripImg，單位為mm/pixel；

c7、計算實際帶材的位置，記為E＝(D_left-D_right)×Q，若E大于零代表帶材向傳動側輥道發生位置偏離，反之，代表向操作側輥道發生位置偏離。

2.根據權利要求1所述的帶材位置圖像數據集采集方法，其特征在于，所述c3包括以下步驟：

c31、創建用于保存帶材在圖像四個基準高度上帶材位置標號的集合S^t，t＝1,2,3,4，其中變量t代表不同的基準高度，為集合S^t中的子元素，設置循環變量v，并令t＝1，v＝1；

c32、判斷矩陣M_seg在坐標(H_t,v)處的灰度值G(H_t，v)＝255是否成立，若成立，表示矩陣M_seg在此坐標處存在帶材并轉到步驟c33，若不成立，轉到步驟c34；

c33、將當前變量v的值保存為集合S^t的元素；

c34、令變量v＝v+1；

c35、判斷v＝w是否成立，若成立表示在基準高度H_t上搜索完成并轉到步驟c36，若不成立轉到步驟c32；

c36、得到當前基準高度H_t上保存有帶材位置標號的集合S^t；

c37、令v＝1和t＝t+1；

c38、判斷t＝4是否成立，若成立，完成四個基準高度帶材位置標號的采集并轉到步驟c4，若不成立，轉到步驟c32。