[發明專利]一種雙目視覺水果分揀并聯機器人視覺盲區末端位姿檢測方法

有效

• 申請號: 202010112300.4
• 申請日: 2020-02-24
• 公開（公告）號: CN111383272B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 高國琴;韓瀅
• 申請（專利權）人: 江蘇大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246;G06N3/048;G06N3/08;G01S11/12
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種雙目視覺水果分揀并聯機器人視覺盲區末端位姿檢測方法，其特征是，包括如下步驟：

步驟1，基于雙目視覺的圖像獲取：基于雙目視覺實時采集水果分揀并聯機器人末端執行器的原始立體圖像對，根據能否識別立體圖像對中的標定板來判斷是否為視覺盲區；

步驟2，針對非視覺盲區末端位姿檢測：2.1采用Bouguet算法對原始圖像對進行極線校正保證其特征點在同一掃描線上；2.2基于ORB算法對立體圖像對進行特征點檢測并基于Hamming距離進行立體預匹配；2.3針對立體預匹配中存在的錯誤匹配問題，采用所提出的漸進式抽樣一致性算法對立體預匹配結果進行提純，其中通過穿插取點和預檢驗候選模型提高漸進式抽樣一致性算法的模型參數估計精度和速度；2.4構建機構雙目視覺模型，將提純后的特征點對代入雙目視覺模型進行三維重建，并計算出末端位姿參數；

步驟3，針對視覺盲區末端位姿檢測：3.1在非視覺盲區采集RBF神經網絡訓練樣本，以運動學正解為網絡的輸入樣本，視覺檢測的末端位姿與運動學正解的偏差值為網絡的輸出樣本；3.2進行RBF神經網絡訓練，訓練過程中采用GWO和LM算法混合優化RBF神經網絡權值以提高網絡預測精度；3.3將訓練好的混合優化RBF神經網絡用于視覺盲區末端位姿檢測，通過混合優化的RBF神經網絡對視覺盲區的運動學正解進行誤差補償以獲得高精度末端位姿參數；

步驟2.1的具體過程為：

將左右相機之間的旋轉矩陣R采用如式(1)(2)的方式分解為左相機旋轉矩陣R_l和右相機旋轉矩陣R_r：

R_l＝R^1/2?????(1)

R_r＝R^-1/2????(2)

利用式(3)將左相機采集的末端執行器圖像的極點e₁移動到無窮遠處使雙目視覺的極線達到水平狀態：

式中，T為右相機相對于左相機的偏移矩陣，||T||為矩陣T的矩陣范數；

建立如式(4)所示的向量e₂，其方向與相機主光軸方向正交，與向量e₁垂直：

式中，T_x為右相機相對于左相機在X方向上的偏移量，T_y為右相機相對于左相機在Y方向上的偏移量；

將向量e₁和向量e₂進行叉積運算得向量e₃，如式(5)所示：

e₃＝e₁×e₂????(5)

則水平對準矩陣R_rect如式(6)所示：

將左、右相機旋轉矩陣R_l和R_r分別乘以水平對準矩陣R_rect可獲得左右圖像進行校正的投影矩陣R_l'和R_r'，如式(7)所示：

步驟2.2的具體過程為：

定義特征點P與周圍像素點的關系S_p→k如式(8)所示：

式中，I_p表示P點的灰度值，I_p→k表示與P點周圍對應編號為k的像素灰度值，t是閾值，周圍像素點就可分為d、s、b三種類型；統計d和b出現的總次數N，s出現的次數n，當N＞n時，P點則被選為候選特征點；

定義特征點P的方向θ如式(9)所示：

式中，x、y為像素點的圖像坐標，I(x,y)為(x,y)位置的像素灰度值；

定義特征點P的特征描述符g_m如式(10)所示：

式中，p(x_i)為點x_i的像素灰度值，p(y_i)為點y_i的像素灰度值，為m個點對(x_i,y_i),i＝1,2,…,m組成的矩陣，為方向θ對應的旋轉矩陣；

基于Hamming距離進行立體預匹配，定義立體圖像對的ORB特征點描述子D₁和D₂為：

D₁＝x₀x₁…x₂₅₅????(11)

D₂＝y₀y₁…y₂₅₅????(12)

式中，x₀x₁…x₂₅₅和y₀y₁…y₂₅₅為二進制串；

則Hamming距離S(D₁,D₂)如式(13)所示：

S(D₁,D₂)越小表示Hamming距離相似度越高；

步驟2.3的具體步驟如下：

(1)對匹配對集U_N按照Hamming距離相似度做降序排列；

(2)選取前n組較高質量的匹配對子集M；

(3)將匹配對子集M等分成t(t＞m)份，從中抽取m+1份并從每份中抽取一組匹配點對構成樣本集S；

(4)從樣本集S中抽取m組匹配點對求出臨時候選模型F：設(x,y,1)和(x',y',1)為一對正確匹配點對的齊次坐標，將m組匹配點對代入式中，求解F矩陣參數；

(5)驗證第m+1組匹配點對是否為該模型的支撐集，若是，則繼續尋找臨時候選模型F的支持集，否則重新選取樣本集M；

(6)通過候選模型F和誤差閾值W檢測剩余匹配點對，得到候選模型F的支撐集和滿足候選模型F的匹配點對數即模型內點數d；

(7)根據終止條件判斷是否結束迭代過程，否則重復步驟(2)～(6)；

終止條件：當內點數超過所設定的閾值或者k次采樣后的內點數與k-1次采樣后得到的內點數相比沒有增加，返回包含內點數最多的候選模型參數矩陣F以及該模型的支持集；

根據式(14)計算候選模型F所對應匹配點對的Sampson距離d：

式中，m＝(u,v,1)^T為點m的齊次坐標，m'＝(u',v',1)^T為點m'的齊次坐標；

設定閾值k，將符合d＜k的點作為該候選模型F的內點，將包含內點數最多的候選模型F進行最小二乘法得到兩幅圖像匹配點對的目標變換模型H：

式中(u,v,1)和(u',v',1)分別為兩幅圖像中一對正確的匹配點對m(u,v)和m'(u',v')的齊次坐標；

所述步驟2.4的具體過程為：

采用張正友標定法對雙目視覺系統進行相機標定，通過將標定板中特征點的像素坐標和三維坐標代入式(16)，求解出相機的內外參數:

式中，s為任意數，A為相機的內參數矩陣，R為相機坐標系相對世界坐標系的旋轉矩陣，T為相機坐標系相對世界坐標系的平移矩陣，(u,v,1)表示特征點在圖像上投影點的齊次坐標，(X_W,Y_W,Z_W,1)為特征點在世界坐標系下的齊次坐標(單位：m)；

假定末端特征點P在左右相機的投影點分別為p_l和p_r，則根據投影定理得到式(17)：

式中：P_W為特征點P的世界坐標，M_l＝A_l[R_l?T_l]和M_r＝A_r[R_r?T_r]分別為左右相機的投影矩陣：A_l和A_r分別為左右相機的內參矩陣，R_l和R_r分別為左右相機坐標系相對于世界坐標系的旋轉矩陣，T_l和T_r分別為左右相機坐標系相對于世界坐標系的平移矩陣；s_l，s_r為比例因子，將上式展開來則如式(18)(19)所示：

式中，(u_l,v_l,1)，(u_r,v_r,1)分別為特征點P在左右圖像上投影點的齊次坐標；(X,Y,Z,1)為特征點P在世界坐標系下的齊次坐標(單位：m)；表示左右投影矩陣M_l和M_r的第i行，第j列；

聯立式(18)和式(19)，可得式(20)：

A*P_W＝B????(20)

式中：

從而得式(21)：

P_W＝(A^TA)^-1A^TB???(21)

將特征點P的左右像素坐標代入式(21)，求得特征點P的三維坐標(X,Y,Z)；

將特征點P的旋轉矩陣R表示為如式(22)所示：

式中，α為繞世界坐標系X軸旋轉的俯仰角(單位：rad)，β為繞世界坐標系Y軸旋轉的翻滾角(單位：rad)，γ為繞世界坐標系Z軸旋轉的航向角(單位：rad)；

則可求出末端姿態角α、β、γ，如式(23)所示：

根據水果分揀并聯機器人的運動特點，其運動過程中α和β相對于定坐標系不變，只有γ在變化，故該并聯機器人的末端位姿參數可表示(x,y,z,γ)，其中x、y和z的單位為m，γ單位為rad；

至此，水果分揀并聯機器人的末端位姿參數求解已完成；

所述步驟3.2中，采用GWO和LM算法混合優化RBF神經網絡權值以提高網絡預測精度，GWO和LM算法混合優化RBF權值的具體步驟如下：

(1)建立RBF神經網絡，設置測試誤差閾值ε，阻尼因子μ，阻尼系數β，最大迭代次數K，初始迭代次數k＝0；

(2)最近鄰聚類算法確定RBF神經網絡基函數的中心、寬度和初始權值w；

(3)輸入權值構建新的RBF神經網絡；

(4)計算網絡目標誤差函數E(w)：

式中，t_i、o_i分別為第i層網絡輸出層的實際輸出和期望輸出；

(5)計算雅克比矩陣J(w)：

式中，e_i(w)＝t_i-o_i，表示第i層網絡輸出誤差，w_i為第i層網絡權值；

(6)計算權值向量調整值Δw_i并進行權值更新w_i^k+1＝w_i^k+Δw_i，其中Δw_i＝-[J^T(w)J(w)+μI]^-1J^T(w)e_i(w)，J(w)為雅克比矩陣，μ為阻尼因子，I為單位矩陣，e_i(w)為第i層網絡輸出誤差；

(7)判斷是否E(w)＜ε，滿足則結束訓練，否則執行步驟(8)；

(8)計算E(w^k+1)，判斷是否E(w^k+1)＜E(w^k)，滿足則令μ＝μ/β，k＝k+1，并執行步驟(9)，否則令μ＝μ*β，并執行步驟(6)；

(9)初始化灰狼種群[w₁,w₂,…,w_N]，設置最大迭代次數T；

(10)計算每個灰狼的適應度值MSE(w)，并按照適應度升序排列，選擇前三名灰狼為α灰狼、β灰狼、δ灰狼：

式中，為第t次迭代的第i層網絡期望輸出，為第t次迭代的第i層網絡實際輸出；

(11)在定義域內隨機產生α灰狼、β灰狼、δ灰狼的位置，根據式(27)計算其余灰狼ω位置并更新參數a，A，C：

式中，D_α、D_β、D_δ分別為α灰狼、β灰狼、δ灰狼與獵物間的距離向量，X_α、X_β、X_δ分別為α灰狼、β灰狼、δ灰狼當前位置，X_ω(t)為第t次迭代的ω灰狼位置，X_ω(t+1)表示ω灰狼更新后的位置；r₁、r₂為[0,1]內的隨機數，t為當前的迭代次數，T為最大迭代次數；

(12)判斷是否達到最大迭代次數或精度，若達到，執行步驟(3)；否則執行步驟(10)；

所述步驟3.3的具體過程為：將GWO算法和LM算法混合優化后的RBF神經網絡應用于視覺盲區末端位姿檢測，首先通過運動學正解獲取當前末端執行器的位姿，然后利用混合優化的RBF神經網絡對運動學正解進行位姿誤差補償，提高視覺盲區的末端位姿檢測精度。