[發明專利]一種熔池形貌檢測及弧焊機器人控制方法

有效

• 申請號: 202010031333.6
• 申請日: 2020-01-13
• 公開（公告）號: CN111275634B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 謝非;朱騰飛;楊繼全;劉益劍;劉宗熙;陸飛;馮春梅;汪璠;吳俊;章悅
• 申請（專利權）人: 南京師范大學;南京智能高端裝備產業研究院有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/11;G06T7/13;G06T7/60;B23K9/04
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

1.一種熔池形貌檢測及弧焊機器人控制方法，其特征在于，包括如下步驟：

步驟1，采集弧焊增材制造熔覆池視頻，從視頻中提取單幀熔覆池視頻序列幀彩色圖像；

步驟2，針對提取的單幀熔覆池視頻序列幀彩色圖像進行灰度變換得到熔覆池灰度圖像；

步驟3，對熔覆池灰度圖像進行基于多級卷積核加權的噪聲濾波，得到熔覆池濾波圖像；

步驟4，對基于多級卷積核加權的熔覆池濾波圖像進行基于閾值處理的掩膜修補，去除金屬液滴區域部分，得到修補后的熔覆池灰度圖像；

步驟5，對修補后的熔覆池灰度圖像進行兩次區域圖像分割，得到二次區域分割圖像；

步驟6，對二次區域分割圖像進行基于天牛須搜索自適應閾值算法的邊緣檢測，得到熔覆池邊緣檢測圖像；

步驟7，對熔覆池邊緣檢測圖像進行閾值分割和基于粒子群算法的伽馬變換，進行灰度增強，得到去噪和增強后的熔覆池邊緣圖像；

步驟8，對去噪和增強后的熔覆池邊緣圖像進行像素遍歷，得到熔覆池的圓心像素點坐標；

步驟9，以熔覆池的圓心像素點坐標為基準，進行基于豎軸和橫軸的區域圖像分割，再通過右半平面和下半平面進行鏡像對稱和組合，得到熔覆池的橢圓擬合圖像；

步驟10，以熔覆池的圓心像素點坐標為基準，對熔覆池的橢圓擬合圖像進行像素遍歷，計算出長軸和短軸像素數大小；利用長軸和短軸的變化量判斷終止打印或者繼續打印；判斷當前熔覆池視頻序列幀彩色圖像是否為最后一幀，如果是，則結束打印，如果不是，則回到步驟1；

步驟2包括：將單幀熔覆池視頻序列幀彩色圖像中每個像素點進行灰度變換，并利用以下公式重新賦值：

Gray_m＝0.2986*R_m+0.5871*G_m+0.1143*B_m

其中，Gray_m為灰度變換后的灰度值，R_m為單幀熔覆池視頻序列幀彩色圖像中紅色分量的值，G_m為綠色分量的值，B_m為藍色分量的值；

步驟3包括：進行四級卷積核加權，卷積核的尺寸為n×n，取尺寸分別為3×3、5×5、7×7、9×9的四級卷積核，n＝2×k+1，k為正整數，將卷積核所覆蓋像素中的中值作為中心點的像素值，遍歷所有元素，四級卷積核加權公式如下：

dst＝0.4*dst1+0.3*dst2+0.2*dst3+0.1*dst4

其中，dst表示加權后的像素值，dst1、dst2、dst3、dst4分別是卷積核尺寸為3×3、5×5、7×7、9×9作用后的像素值；

步驟4包括：

步驟4-1，根據熔覆池濾波圖像的灰度直方圖，選取170作為圖像分割的閾值，使用閾值分割分離出金屬液滴區域部分，以金屬液滴區域部分構成熔覆池濾波圖像的掩膜，也即熔覆池濾波圖像的待修復區域；

步驟4-2，對熔覆池濾波圖像進行修補，去除金屬液滴區域部分，得到修補后的熔覆池灰度圖像，修補公式如式：

其中，I(u)為熔覆池濾波圖像修補后的灰度值，為熔覆池濾波圖像灰度值的梯度，Ω為待修復區域，x和y分別為像素點的橫坐標和縱坐標；

步驟5包括：

步驟5-1，在修補后的熔覆池灰度圖像中選取一個矩形，矩形四個頂點的像素坐標分別為(130,125)、(360,125)、(130,20)和(360,20)，遍歷所有的像素，如果像素坐標在這個矩形區域內，則像素值不變；如果像素坐標在這個矩形區域外，則把像素值置為0，即黑色，得到初步區域分割圖像；

步驟5-2，在初步區域分割圖像中選取一個矩形，矩形四個頂點的像素坐標分別為(200,100)、(200,50)、(300,100)和(300,50)，遍歷所有的像素，如果像素坐標在這個矩形區域內，像素值置為0，即黑色；如果像素坐標在這個矩形區域外，則像素值不變，得到二次區域分割圖像；

步驟6包括：利用Sobel算子對二次區域分割圖像進行卷積計算得到邊緣梯度值，對邊緣梯度值使用天牛須搜索自適應閾值算法，當邊緣梯度值大于自適應閾值時標記為邊緣，得到熔覆池邊緣檢測圖像，Sobel算子如下：

Gx＝G_x*A,

Gy＝G_y*A,

|G|＝|Gx|+|Gy|,

其中，Gx及Gy分別代表經過橫向邊緣檢測的圖像灰度值和經過縱向邊緣檢測的圖像灰度值，G_x及G_y分別為橫坐標x方向需要使用的卷積因子和縱坐標y方向需要使用的卷積因子，A代表二次區域分割圖像，|G|為經過Sobel算子計算后的邊緣梯度值；

所述天牛須搜索自適應閾值算法包括：

步驟6-1，建立天牛須朝向的隨機向量dir并單位化，其方向為從右須指向左須：

其中，rands()代表隨機向量，m代表空間維度；

步驟6-2，確定天牛左右須的坐標：

右須坐標：

x_rn＝x_n-l*dir/2

左須坐標：

x_ln＝x_n+l*dir/2

其中，x_ln代表左須坐標，x_rn代表右須坐標，x_n表示在第n次迭代時的質心坐標，n為非負整數，l為左須和右須之間距離；

步驟6-3，通過計算分別得到左、右兩須的適應度值f_l和f_r，根據這兩個適應度值f_l和f_r的大小關系，判斷天牛的前進方向，第n次迭代時行進步長為j_n，x_n+1表示在第n+1次迭代時的質心坐標，此時用下式更新天牛的位置：