[發(fā)明專利]一種基于視覺系統(tǒng)的坡口切割機(jī)器人圖像處理方法

在審

• 申請?zhí)枺?/td>: 202210313898.2
• 申請日: 2022-03-28
• 公開（公告）號: CN114821114A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 王聚峰;陳楠;張騰;冀連權(quán);張九琴;劉仁明;余飛;倪寶春;管宏偉;鄭飛;錢文昊;朱斌
• 申請（專利權(quán)）人: 南京業(yè)恒達(dá)智能系統(tǒng)股份有限公司
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/44;G06V10/75;G06K9/62;G06T3/40;G06T5/00;G06T5/40;G06T5/50;G06T7/12;G06T7/13;G06T7/33;G06T7/80
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 田凌濤

1.一種基于視覺系統(tǒng)的坡口切割機(jī)器人圖像處理方法，其特征在于，包括以下步驟：

S1、圖像采集與拼接

對于圖像的采集，采用一臺CCD相機(jī)對切割平臺進(jìn)行垂直拍攝，通過移動機(jī)器人連續(xù)采集圖像，將切割平臺上的全部工件的圖像進(jìn)行采集，對采集的多幅圖像，采用配準(zhǔn)策略進(jìn)行圖像融合完成拼接，使用特征提取的SIFT算法對采集的圖像進(jìn)行拼接；

S2、對目標(biāo)區(qū)域工件的提取

對于深度相機(jī)采集到的深度圖像進(jìn)行灰度化處理，由于彩色圖像中三分量的差異，采用加權(quán)平均法，將三個分量以不同的權(quán)值進(jìn)行加權(quán)平均，計算深度圖像的灰度值，輸出深度圖像的灰度圖像，完成深度圖的灰度化處理；

S3、目標(biāo)區(qū)域最優(yōu)輪廓的獲取

對于圖像輪廓邊緣的檢測，綜合對比邊緣梯度算子，使用canny算子作為主要的邊緣檢測法，在高斯濾波的二值化圖像已去除大部分噪聲的基礎(chǔ)上，使用一階差分近似微分的方法計算圖像內(nèi)每一個點的局部梯度與邊緣方向，采用非極大值抑制梯度，細(xì)化圖像邊緣的寬度，再采用雙閾值法的輸出強(qiáng)、弱邊緣，完成邊緣檢測；

S4、視覺標(biāo)定

以相機(jī)的投影成形原理為基礎(chǔ)，采用平面棋盤標(biāo)定法求解相機(jī)的內(nèi)參數(shù)，通過提取棋盤圖像上的特征點與其對應(yīng)點之間的映射關(guān)系求解出相機(jī)內(nèi)參數(shù)(f，k，S_x,S_y,C_x,C_y)，基于求解得到的相機(jī)內(nèi)參數(shù)，利用相同的標(biāo)定塊對左右相機(jī)進(jìn)行測量，得到左右機(jī)的高度差，完成兩相機(jī)在世界坐標(biāo)系下平移關(guān)系的轉(zhuǎn)換，完成相機(jī)的標(biāo)定，求解機(jī)器人的世界坐標(biāo)系與相機(jī)成像的像素坐標(biāo)映射關(guān)系，完成圖標(biāo)坐標(biāo)系至世界坐標(biāo)系的轉(zhuǎn)換，實現(xiàn)機(jī)器人的手眼標(biāo)定，使設(shè)備按圖行走；

通過對相機(jī)模型的分析,進(jìn)行相機(jī)內(nèi)參的標(biāo)定,利用得到的相機(jī)內(nèi)參數(shù)進(jìn)行左右機(jī)之間的標(biāo)定與重合圖像成像區(qū)域的拼接原理分析，相機(jī)的標(biāo)定后,進(jìn)行機(jī)器人的手眼標(biāo)定,使圖像坐標(biāo)系與機(jī)器人執(zhí)行末端聯(lián)系,實現(xiàn)設(shè)備按圖行走；

S5、工件輪廓匹配

對于工件CAD模板的匹配，借助于前期最優(yōu)輪廓獲取的工作基礎(chǔ)：單像素高精度的工件輪廓邊緣；對處理得到的工件輪廓與cad模板輪廓各自進(jìn)行Hu矩的計算與匹配，設(shè)置工件與CAD模板的Hu矩的相似度為0.0180968，尋找出與之對應(yīng)的CAD模板，并比較實際工件輪廓面積與cad模板面積，避免形狀相同、尺寸不同的應(yīng)用工況，最終確定CAD模板的切割工藝參數(shù)，糾正機(jī)械臂的行走路線，實現(xiàn)精準(zhǔn)切割；

依據(jù)左右成像重疊區(qū)域的拼接原理,對最優(yōu)輪廓進(jìn)行拼接,得到工件的完整緣輪廓圖，對于工件CAD模板,進(jìn)行邊緣提取,得到模板的輪廓,各自進(jìn)行Hu矩的計算與匹配。

2.根據(jù)權(quán)利要求1所述的基于視覺系統(tǒng)的坡口切割機(jī)器人圖像處理方法，其特征在于，所述步驟S1中,使用特征提取的SIFT算法對采集的圖像進(jìn)行拼接，具體包括以下步驟：

S11、利用SIFT算法提取出工件圖像的特征點，為每一個特征點分配一個主方向和輔方向；

S12、緊接步驟S11，引入kd-tree數(shù)據(jù)結(jié)構(gòu)對分配好的特征信息進(jìn)行分類索引，開始搜索特征匹配對，并根據(jù)最近鄰和次近鄰比值進(jìn)行篩選，得到初始的特征匹配對；

S13、為了減少初步篩選出的錯誤匹配對，采用RANSAC算法去除錯誤的匹配對，并給出圖像之間的變換矩陣；使用變換矩陣將圖像變換至同一坐標(biāo)系下，進(jìn)行融合，對于多幅圖像融合存在的亮度差異，采用加權(quán)平均算法對重疊區(qū)域進(jìn)行優(yōu)化，完成圖像的拼接。