[發明專利]基于Zynq的嵌入式焊縫軌跡視覺檢測系統及方法

在審

• 申請號: 202110270057.3
• 申請日: 2021-03-12
• 公開（公告）號: CN113109347A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 杜思月;宋旸
• 申請（專利權）人: 南京理工大學
• 主分類號: G01N21/88
• 分類號: G01N21/88;G05B19/042
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 陳鵬

本發明公開了一種基于Zynq的嵌入式焊縫軌跡視覺檢測系統及方法，通過實時檢測焊縫特征點信息，實現自適應的焊縫位置跟蹤，為焊接機械手的焊接路徑規劃提供實時數據；系統基于Zynq開發平臺，構建視覺傳感器模塊、視覺標定與焊縫特征提取模塊、通信與存儲模塊和LCD觸摸屏顯示與控制模塊，視覺傳感器模塊用于焊接時實時圖像采集；視覺標定與焊縫特征提取模塊用于視覺傳感器模塊標定及實時獲取焊點空間坐標信息；通信與存儲模塊用于實時存儲與傳輸數據；LCD觸摸屏顯示與控制模塊用于各模塊的有序控制與實時顯示。本發明提供的嵌入式焊縫檢測系統集成度高，功耗低，體積小，特征提取算法魯棒性好，滿足數字圖像實時處理與傳輸的要求。

技術領域

本發明涉及基于結構光的三維重構、焊縫檢測技術領域，具體涉及一種基于Zynq的嵌入式焊縫軌跡視覺檢測系統及方法。

技術背景

焊接自動化與焊縫檢測機器人廣泛使用于工業生產、航天航空、機械制造、醫療工程等焊接應用場景中。焊縫軌跡檢測技術主要有基于電弧的接觸式檢測方法和基于計算機視覺的非接觸式檢測方法，后者結合圖像處理技術與視覺技術可以獲得較高的檢測精度。

基于主動光源的焊縫軌跡檢測系統主要由視覺傳感器、控制器和執行機構構成。視覺傳感器模塊包括圖像傳感器和激光器，控制器一般為PC機，執行機構則是由執行焊接作業的機械手臂與機械手控制柜構成。這種基于PC機+工業相機的傳統視覺系統是由PC機來處理分析工業相機采集的數字圖像，算法的實現較為靈活，速度尚可，但是體積受到了很大的影響，處理平臺和便攜性有限。因此本發明采用嵌入式處理器作為硬件核心，開發一套獨立的、體積小、能耗低、性能穩定的嵌入式焊縫軌跡視覺檢測系統。

目前圖像處理領域的嵌入式系統多基于單一平臺，如ARM處理器，具有豐富的開發資源和強大的管理能力，但是難以滿足復雜圖像處理算法下的實時性要求；FPGA并行處理的特點適合應用于圖像處理場合，但對于這類復雜的特征提取算法難以滿足較高的實時性要求。

發明內容

本發明的目的在于針對目前廣泛以PC機+工業相機作為核心來實現數字圖像采集、處理與特征實時提取的傳統機器視覺系統具有的價格昂貴，體積大，處理平臺和便攜性有限的缺陷，提出一種基于Zynq的嵌入式焊縫軌跡視覺檢測系統及方法，既滿足實時性的要求，也具有嵌入式圖像處理系統體積小、集成度高、能耗低的優點。

實現本發明目的的技術解決方案為：一種基于Zynq的嵌入式焊縫軌跡視覺檢測系統，基于Zynq嵌入式開發平臺構建視覺傳感器模塊、視覺標定與焊縫特征提取模塊、通信與存儲模塊以及LCD觸摸屏顯示與控制模塊；

所述視覺傳感器模塊由COMS傳感器和線激光器組成，用于采集焊縫激光特征圖像；所述視覺標定與焊縫特征提取模塊用于提取焊縫激光圖像特征點，依據標定結果獲取焊點空間坐標信息；所述通信與存儲模塊負責傳輸存儲數字圖像與數據；所述LCD觸摸屏顯示與控制模塊通過設計的用戶圖像界面實時顯示圖像和控制各模塊有序執行。

一種嵌入式焊縫軌跡視覺檢測方法，包括：

步驟1、視覺傳感器模塊與機械手臂執行機構末端相連，對視覺傳感器模塊中的相機和線結構光光平面進行標定，獲取相機的內參和畸變參數以及線結構光光平面參數，將標定結果存入存儲模塊；

步驟2、由PS部分接收視覺傳感器采集的激光焊縫數字圖像數據，焊縫特征提取模塊對圖像數據進行圖像預處理與激光條紋中心線提取算法處理獲取的像素數據即為焊縫特征點；

步驟3、利用步驟1中標定結果計算圖像焊縫二維特征點對應的世界坐標信息，將坐標信息通過通信模塊與機械手控制器和上位機進行數據傳輸；

步驟4、LCD觸摸屏顯示與控制模塊將各項數據實時顯示；

步驟5、機械手臂執行機構依據接收的焊點空間坐標信息改變運動軌跡，同時視覺傳感器繼續采集激光焊縫圖像，繼續從步驟2按順序執行。