[發明專利]一種機器人視覺系統

有效

• 申請號: 202010699830.3
• 申請日: 2020-07-20
• 公開（公告）號: CN111775154B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 宋寶;唐小琦;周向東;李含嫣;郭藝璇;李鵬帥;劉永興;趙德鵬;周金海
• 申請（專利權）人: 廣東拓斯達科技股份有限公司;華中科技大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

1.一種機器人視覺系統，其特征在于：包括視覺平臺和機器人，所述機器人包括上位機和下位機，所述上位機為人機交互界面，所述下位機實現具體功能和控制邏輯，所述下位機功能模塊分為標定模塊、動態控制策略模塊和機器人動作模塊，其中，標定模塊包括視覺標定、傳送帶標定和工件標定，使視覺、傳送帶、工件信息都可以轉換到機器人坐標系下使用；動態控制策略模塊包括對傳送帶的實時檢測和更新、基于隊列的工件管理，實現動態跟蹤的邏輯控制和判斷；機器人動作模塊分別實現對靜態工件的抓取和對傳送帶上運動工件的跟蹤；

所述視覺標定采用基于標定物的傳統標定方法進行視覺標定，首先建立視覺與機器人之間的坐標關系模型，采集標定板上某幾個點的像素坐標和對應機器人坐標，利用數學方法求解模型中的轉換參數；利用標定出的轉換關系，計算目標工件在機器人坐標系下的坐標，進而引導機器人的動作；

所述動態控制策略模塊基于傳送帶坐標系計算工件實時位姿，需要對傳送帶進行建模及標定；基于編碼器位置反饋計算傳送帶實時位移和速度，視覺檢出的工件利用先進先出隊列進行管理，每周期對工件狀態實時更新；整體流程保證機器人可以根據實時、準確的工件信息進行邏輯判定，逐個處理傳送帶上的運動工件；

所述機器人動作模塊執行跟蹤操作時，先要跟上工件與之保持相對靜止，然后執行相應的動態工藝，機器人需要處理的工件上的點稱為工藝點，處理完退出跟隨狀態；為實現對運動工件的跟蹤，提出工件基準坐標系標定和工藝點示教方法，通過將操作點映射到工件實時局部坐標系實現了任意位姿、任意工藝點的實時坐標計算，并在最后對跟蹤效果進行優化；

所述視覺標定包括視覺建模、基于透視變換模型的視覺標定方法、基于偏移法的定位抓取方法，所述視覺建模包括手眼關系分析和透視變換模型；

所述手眼關系分析分為相機固定的眼在手外關系和相機隨動的眼在手上關系，眼在手外系統的機器人基坐標系和相機坐標系靜止，兩者之間的關系用一個固定矩陣Mx表示；眼在手外時，利用標定板上的一組標定點，分別采集圖像像素坐標和機器人基坐標系下的坐標，即可列關于轉換矩陣Mx的方程；眼在手上時，利用標定板上的一組標定點，分別采集圖像像素坐標和機器人工具坐標系下的坐標，即可列關于轉換矩陣Mx的方程；求解出Mx并利用機器人運動學關系即可將工件像素坐標轉換為機器人位姿，進而抓取；

所述透視變換模型采用單目2D相機進行視覺定位引導，系統運行時保持相機的拍照高度始終不變，視覺只需要在X、Y方向上進行定位；拍照高度保持不變時，相機坐標系和機器人坐標系之間的關系可以簡化為一個平面到另一個平面的映射關系；兩個任意平面坐標系之間滿足以下坐標變換關系：

其中，w表示透視因子，為單應性矩陣；

機器人坐標(x,y)與像素坐標(u,v)的關系為：

可將h₉化為1不影響坐標映射關系，等式化為：

所以，

其中，表示線性變換，表示平移變換，[m₆ m₇]表示透視變換，平行四邊形映射到梯形；該模型稱為透視變換模型；

另外，當機器人末端坐標平面與相機坐標平面平行時，變換關系簡化為以下仿射變換模型：

該模型將任意平行四邊形映射到平行四邊形；

所述基于透視變換模型的視覺標定方法包括四點標定方法、基于最小二乘法的標定參數求優，所述四點標定方法：建立相機坐標平面和機器人坐標平面之間的映射關系后，需要求解的轉換矩陣為8個未知參數需要8個方程求解；等式(3)可以變形為：

當有四對像素坐標和機器人坐標時，參數m₀～m₇可線性求解，采集像素坐標；利用高精度菲林標定板，選取視野中不共線的四個標定點，相機在固定高度h處拍照得到四個點的像素坐標(ui,vi)，i＝1,2,3,4.

采集機器人坐標，標定固定相機時，移動機器人使其工具中心點TCP對準標定點中心，此時的末端位置即為標定點在機器人基坐標系下的坐標；標定隨動相機時，移動機器人使TCP對準標定點中心，標定點在機器人工具系下的坐標為此時的末端坐標減去拍照時的末端坐標，依次移動將機器人TCP對準四個標定點中心，分別記錄四個機器人坐標(xi,yi)，i＝1,2,3,4.

根據四組像素坐標與機器人坐標，可列關于模型參數m₀～m₇的矩陣方程：

采用高斯消元法求解線性方程組，最終得到透視變換模型參數：

x＝[m₀，m₁，m₂，m₃，m₄，m₅，m₆,m₇]^T；

所述基于最小二乘法的標定參數求優：在實際應用中，由于相機拍照得到的像素坐標和機器人對位得到的機器人坐標都存在一定誤差，為了提高標定結果的精度，用大于四點列超定方程組：

Ax＝b (8)

其中，A為m×8的矩陣，x為待求解的8維未知數向量，A與b組成的增廣矩陣[A|b]的秩大于8；

用最小二乘法求不相容方程組的近似解，最佳的最小二乘解x₀應滿足：對于Ax＝b的每個最小二乘解u，都有||x₀||₂≤||u||₂；根據矩陣論中的定理，Ax＝b最佳的最小二乘解為：

x₀＝A⁺b (9)

其中，A⁺是矩陣A的Moore-Penrose廣義逆；

由矩陣A的物理意義知，A為列滿秩的實數矩陣，它的加號廣義逆為：

A⁺＝(A^TA)^-1A^T (10)

因此，原方程的最小二乘最優解為：

x₀＝(A^TA)^-1A^Tb (11)

在視覺標定時，采用n(n8)個不共線的標定點，分別得到像素坐標(u_i,v_i)和機器人坐標(x_i,y_i)(i＝1,…,n)，列關于模型參數m₀～m₇的超定方程組：

利用式(11)即可計算得到關于m₀～m₇的最小二乘最優解；

所述基于偏移法的定位抓取方法：

相機拍攝視野中的工件，返回工件中心像素坐標，利用視覺標定參數進行轉換計算，得到機器人TCP坐標，計算公式如下：

其中，(u，v)為相機拍照得到的工件像素坐標，(x，y)為對應的機器人坐標系下坐標，m₀～m₇為透視變換模型參數；

對于固定相機，公式計算出的(x，y)為TCP在基坐標系下的位置，該坐標為絕對坐標，機器人運行到指定點位即可；對于隨動相機，公式計算出的(x，y)為TCP在工具坐標系下的位置，該坐標為相對坐標，機器人運行時需要在拍照位置基礎上加上相對坐標的偏移；由于隨動相機可以隨著機器人末端執行器運動，視野范圍小，因此用于精定位以減少誤差；

設拍照時機器人末端坐標為(X_trig，Y_trig，Z_trig，A_trig，B_trig，C_trig)，A-B-C為z-y-z歐拉角，則工件像素坐標到機器人坐標的轉換公式為：

其中，(X_w，Y_w，Z_w，A_w，B_w，C_w)為轉換后的機器人坐標，(u，v，θ)為工件像素坐標，h為固定的高度，m₀～m₇為透視變換模型參數；

利用視覺定位時，先通過透視變換模型，將相機坐標平面映射到機器人坐標平面；然后，對于固定相機，直接用標定出的參數將工件像素坐標轉換為機器人基坐標系下的末端位置；對于隨動相機，將工件像素坐標轉換為機器人工具系坐標，在拍照位置的基礎上偏移，得到最終需要的機器人位姿坐標，進而機器人可以實行抓取。