[發明專利]一種基于加權最小二乘法的在線反饋手眼標定方法

有效

• 申請號: 202010046757.X
• 申請日: 2020-01-16
• 公開（公告）號: CN111203881B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 張小俊;杜珊;呂曉玲;趙愛迪
• 申請（專利權）人: 河北工業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

1.一種基于加權最小二乘法的在線反饋手眼標定方法，其適用于相機固定在機器人末端系統，該方法的步驟是：在線獲取標定信息部分通過自動分析確定標定板方位，引導機械臂運動提取手眼標定的標定信息；然后通過Parzen窗估計對兩步法手眼標定進行加權，并利用最小二乘法求解；最后對標定結果進行誤差計算，依據重建距離誤差，準確的判斷標定結果是否滿足標定精度，如果不滿足精度，則返回繼續在線獲取標定信息，直到得到滿足精度的標定結果；

該方法所使用的硬件結構包括視覺系統和機器人系統、黑白棋盤格的標定板，其中視覺系統主要包括工業相機、鏡頭、光源，機器人包括機器人本體、機器人控制柜、上位機，機器人本體包括機械臂，其中相機固定在機器人末端執行器部位；上位機內加載有標定板方位判定模塊、標定計算模塊、誤差計算模塊和在線反饋模塊；機器人通過控制相機運動實時獲取標定板圖像，標定板方位判定模塊對獲取的標定板圖像進行分析，相機拍攝到準確有效的標定板圖像后，再根據機器人的運動參數得到標定所需的圖像位姿與機器人位姿數據，通過標定計算模塊求解手眼標定方程的解；誤差計算模塊根據所求結果計算誤差，判斷是否需要進一步的標定，滿足精度要求時直接輸出標定結果；不滿足精度時通過在線反饋模塊將信息反饋到在線獲取標定信息部分，繼續采集標定信息；

在標定結果中用不同位置棋盤格點的平均歐幾里德距離表示重建距離誤差e_d，重建距離誤差的公式為式(1)：

其中，標定板的規格為a*b，表示第n'個位置，通過標定結果求解的第a'×b'個棋盤格角點坐標；表示第n'+1個位置，通過標定結果求解的第a'×(b'+1)個棋盤格角點坐標；表示第n'+1個位置，通過標定結果求解的第(a'+1)×b'個棋盤格角點坐標；且a'≤a,b'≤b,n表示相機移動的總位置數，d表示棋盤格每個格的邊長；

在線反饋模塊，用于實時獲取誤差計算模塊得到的重建距離誤差，將當前的重建距離誤差e_d實時反饋到在線反饋模塊中，通過與在線反饋模塊所設定的精度進行比較，在線反饋模塊將比較結果信息實時反饋給上位機；當不滿足精度要求時，上位機繼續控制機械臂運動采集更多的標定信息，通過在線進行獲取新的標定板圖像信息，同時標定板圖像信息與機器人位姿信息分別與前一輪采集的標定板圖像信息與機器人位姿信息兩兩結合根據A＝A₂^-1A₁，B＝B₂B₁^-1求解移動信息，通過標定計算模塊獲取當前的標定結果，更新上一輪的標定結果，獲取當前的重建距離誤差，直到滿足標定精度完成標定；

其中，A代表機器人末端由位置A₁到位置A₂的移動矩陣,B代表相機相對于標定板的位姿由B₁到B₂的變換矩陣；

在線獲取標定信息部分包括在線獲取信息及標定板方位判定模塊，在線獲取信息就是在線實時采集數據完成對標定板不同位置的拍攝，每拍攝一張標定板圖像，機器人通過標定板方位判定模塊分析標定板圖像，準確判斷標定板當前的方位，調整機器人運動，得到合理的標定板圖像，標定板圖像與相應的機械臂參數信息保留存儲，獲取的標定信息包括標定板圖像信息和機器人位姿信息；以保證提取的標定信息更利于進行手眼標定；具體步驟是：

步驟1.在線獲取單幅標定板圖像，對單幅標定板圖像進行3ⅹ3均勻分塊，每張圖像分為9張子圖像，子圖像之間相互銜接，單幅標定板圖像為一張MⅹN的圖像，M、N分別表示每列和每行的像素數，子圖像的大小為M/3ⅹN/3，并對9幅子圖像進行編號I_i，i＝1,2,…9，I_i表示第i張子圖像；

步驟2.對圖像分塊以后，首先判斷圖像是否為灰度圖，如果不是，先將圖像轉化為灰度圖，然后輸出圖像直方圖；如果是灰度圖，直接輸出圖像直方圖；由于棋盤格標定板黑白顏色分布的特殊性，棋盤格圖像的直方圖存在明顯的雙峰特征；即當子圖像含有標定板時直方圖表現為雙峰直方圖，當子圖像不含標定板時則不具有雙峰特征，以此能判斷標定板的方位信息；

步驟3.為了對雙峰進行判別與分析，利用二級高斯曲線對子圖像的直方圖進行擬合，擬合函數為：

其中，a₁、a₂為峰值，b1、b2為峰值位置，c1、c2為半寬信息，x表示曲線擬合的橫坐標，f(x)為縱坐標；

得到曲線的兩個峰值a₁、a₂和兩個峰值各自的位置b1、b2；求取每張子圖像中b1、b2的差值L(i)＝|b1-b2|，并對9張子圖像的L(i)取平均值當L(i)L時，則認為第i張子圖像滿足雙峰特征，為含有標定板圖像的部分；當L(i)L時，則第i張子圖像不滿足雙峰特征，為不含標定板圖像的部分；通過比較后得到滿足雙峰條件的第i張子圖像，而根據分塊，每一個i值對應一張子圖像的位置，由此即能判斷出標定板的方位；

步驟4.進一步利用峰面積來確定偏移的大小，使用三角形面積代替峰面積，用S表示；高斯擬合中c1、c2的值為半寬信息，面積表示為：S_1(i)＝a₁*c1，S_2(i)＝a₂*c2；令S_(i)＝S_1(i)/S_2(i),當S_(i)≈1時第i張子圖像全部為標定板圖像，當S_(i)≈1/3時第i張子圖像的一半為標定板圖像，再對應到分塊信息中，即判斷標定板偏移的大小，進而為機械臂的運動提供引導。