[發明專利]基于模板匹配的無紋理平面結構工業零件識別和6D位姿估計方法

有效

• 申請號: 202110443857.0
• 申請日: 2021-04-23
• 公開（公告）號: CN113034600B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 周德鑫;楊藝;劉超;盛鑫軍;熊振華
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/00;G06T7/10;G06T5/00;G06T5/20;G06T3/00
• 代理公司: 南通德恩斯知識產權代理有限公司 32698
• 代理人: 丁桂紅

本發明屬于機器視覺、圖像處理技術領域，尤其是基于模板匹配的無紋理平面結構工業零件識別和6D位姿估計方法，針對現有的方式的適用范圍小柔性化程度低，無法實現無序堆疊工件的上下料的問題，現提出如下方案，其首先通過RGB?D相機采集堆疊工件的RGB圖像和深度圖，基于2D模板匹配對RGB圖像進行工件識別分類和2D圖像定位；將深度圖轉換3D點云，對點云圖像進行濾波處理剔除背景點云和噪聲點云干擾，并對濾波處理后的點云進行歐式聚類分割，獲得單個工件實例點云；對單一零件點云進行RANSAC平面擬合，利用擬合平面的參數方程和工件中心的2D圖像像素坐標估計物體在相機坐標系下的6D位姿。

技術領域

本發明涉及機器視覺、圖像處理技術領域，尤其涉及基于模板匹配的無紋理平面結構工業零件識別和6D位姿估計方法。

背景技術

在機器人自動化應用中，利用機器人實現工業零件的自動化上下料作業是一個非常重要的應用場景。

現有的自動化上下料廣泛采用的是示教-在線模式，機器人通過示教編程對固定工位上的物體進行抓取等操作，這樣方式的適用范圍小柔性化程度低，無法實現無序堆疊工件的上下料。

發明內容

本發明的目的是為了解決現有的方式的適用范圍小柔性化程度低，無法實現無序堆疊工件的上下料的缺點，而提出的基于模板匹配的無紋理平面結構工業零件識別和6D位姿估計方法。

為了實現上述目的，本發明采用了如下技術方案：

基于模板匹配的無紋理平面結構工業零件識別和6D位姿估計方法，基于2D模板匹配對RGB圖像進行工件識別分類和2D圖像定位；結合圖像多分辨率表達和分層模板庫的模板匹配提升算法的運算速度；基于3D點云平面特征和模板匹配結果實現工件的6D位姿估計；

上述方法具體包括以下步驟：

S1：利用雙目結構光相機和工業機械臂搭建機器人手眼系統，通過雙目結構光相機采集堆疊零件RGB圖像和點云圖像；

S2：構建待匹配RGB圖像的高斯金字塔多分辨率表達，同時構建模板圖像的分層模板庫，結合多分辨率空間搜索策略和分層模板搜索策略對RGB圖像進行模板匹配，進行工件類型識別和2D圖像定位；

S3：對模板匹配結果進行2D-ICP優化，得到精確的工件中心2D?定位；

S4：對3D點云進行濾波處理，并通過歐式聚類分割獲得單個工件實例點云；

S5：對單個實例點云進行RANSAC平面擬合，得到工件的擬合平面方程；

S6：利用擬合平面的法向量、相機內參矩陣計算工業零件的6D?位姿估計。

優選的，所述S2中多分辨率空間搜索策略，多分辨率圖像空間構建：

將待檢測的原圖像I(x,y)作為多分辨率空間的第0層，使用高斯濾波器(式2)對其進行濾波得到平滑圖像I_s(x,y)((式1)，然后進行降采樣操作，使得圖像分辨率將為原來的1/4，得到多分辨率空間的下一層圖像，迭代進行高斯濾波和降采樣操作，即得到圖像的多分辨率表達(圖1)。

I_s(x,y)＝G(x,y,σ)*I(x,y)???(1)

優選的，所述S2中分層模板搜索策略，分層模板庫構建：

第一，利用Sobel卷積核(式1)分別計算零件模板圖像三通道的梯度幅值，選取三通道中最大梯度值作為像素點梯度，將梯度幅值超過一定閾值的像素點作為有效特征點；進一步計算這些特征點梯度方向，得到梯度方向特征圖I_G(x)；再對模板的梯度方向特征圖進行非極大值抑制操作，使特征點均勻分布，獲得最終的模板；