[發明專利]一種基于視覺的管口空間位置定位方法

有效

• 申請號: 200810143231.2
• 申請日: 2008-09-17
• 公開（公告）號: CN101359400A
• 公開（公告）日: 2009-02-04
• 發明（設計）人: 王耀南;許海霞;朱江;余洪山;袁小芳;寧偉;陳維;孫程鵬;楊民生
• 申請（專利權）人: 湖南大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/00;G01C11/00
• 代理公司: 長沙市融智專利事務所
• 代理人: 顏勇

1.一種基于視覺的管口空間位置定位方法，采用裝配了攝像機的機器人對需要清洗的冷凝管管口進行定位，其特征在于，包括以下步驟：

1)離線標定機器人手眼關系R、t和攝像機內參數K；其中R為旋轉關系，t為平移關系；

2)通過攝像機獲取管口圖像，從圖像中分離出管口并經擬合獲取第i個管口中心像點坐標m_i；其中i＝1～n，n為總的管口數；

3)根據機器人手眼關系R、t和攝像機內參數K以及管口中心像點坐標m_i求得第i個管口的空間位置(X_i，Y_i)；

所述步驟1)中標定機器人手眼關系R、t的步驟為：

A)精確控制機器人的機械手末端執行器做2次以上運動，機械手平臺運動量記為Me，Me從光電編碼器讀出；

B)機器人的攝像機運動量記為Mc，Mc的確定如下：

攝像機對場景中具有直線的景物進行成像，空間景物直線Lc，及對應的像直線l，透視中心O位于同一平面π，取像直線方向及像直線的垂線作為平面π內的正交矢量基；空間景物直線Lc在平面π內的正交分解：以四元數表示線矩γ，β是正交分解的系數；P是空間景物直線Lc上的點；

平臺從位置A移動到B，移動前后分別提取圖像中對應的直線l_a，l_b，其垂線分別為l_a⊥，l_b⊥，攝像機的運動量滿足：

是攝像機運動量Mc的雙四元數表示；

C)平臺運動量Me與攝像機運動量Mc之間手眼關系滿足：為平臺運動量Me的雙四元數表示；

其中，雙四元數手眼關系包含了旋轉關系R和平移關系t，將上式化簡整理為矩陣形式，最小二乘法求解雙四元數手眼關系分解出旋轉關系R和平移關系t；

其中，分別為l_a、l_b和l_b⊥的雙四元數表示，為的共軛；為的共軛；

所述步驟2)包括：

A)聚類：運用均值平移算法對二值圖像I的邊緣數據點{x_k}_k＝1^N進行聚類，收斂于聚類中心點x：

公式fσ(x)=Σj=1sΣxk∈setjω(||xk-xσ||2)xkΣj=1sΣxk∈setjω(||xk-xσ||2)-x,]]>

式中，x_k＝{u，v}是像點位置2D信息數據點；ω(·)是高斯核函數，σ是聚類帶寬；N個數據點預劃分在s個子集set_j內，其中j＝1，…，s，s在聚類過程中自動更新；

B)起終點搜索：運用模板與當前塊執行“與”運算，遍歷當前點I(u，v)為邊緣曲線點的所有點，若結果為2時，即ss為起點或終點，

公式：

式中tmp1是3×3元素為1的模板，I_B是二值圖像I的3×3當前檢測塊；符號“⊙”表示“與”運算；

C)分割：在聚類數據塊內進行連通域檢測，標記出不同的管口點集，從每個起點或終點開始進行8鄰域的連通域遞歸檢測分割標記；

檢測標記det?ect＝(tmp2⊙I_B(u，v))；

重復標記檢測re_det?ect＝tmp2⊙mark_B(u，v)；

得到連通邊緣點標記mark=detect⊕re_detect;]]>

式中tmp2是3×3中心元素為0，其它為1的模板，mark_B是連通標記mark的當前塊；符號表示“或”運算；

D)將各聚類區域的每條連通線局部坐標轉換到整個像平面的全局坐標，記為連通域C_i(i＝1，2，…)；

E)管口中心像點的提取

整個視場內管口圖像點集分割后，根據連通域C_i(i＝1，2，…)邊緣點數據，采用最小二乘法、Hough變換進行二次曲線擬合，擬合為圓或橢圓，提取管口中心像點坐標m_i；

所述步驟3)為：

任一點從空間場景物體坐標系X_w到攝像機坐標系Y_c的轉換關系為：從空間場景物體坐標系到機器人坐標系的轉換關系^bT_w，從機器人坐標系到機械手臂坐標系的轉換關系^eT_b，從機械手臂坐標系到攝像機坐標系的手眼轉換為^cT_e，則各坐標系轉換關系X_c＝^cT_e^eT_b^bT_wX_w，圖像坐標系下的像點關系為λ_im_i＝KX_c；λ_i為深度；選機器人坐標系與空間場景物體坐標系為同一坐標系，^eT_b＝{R_b，t_b從光電編碼器讀取，R_b，t_b分別表示機器人機械臂在清洗中執行的旋轉關系、平移關系，^cT_e＝{R，t}是手眼關系，則任一管口中心像點m_i與其對應的空間坐標位置X_wi之間存在關系：

λ_iR_b^TR^TK^-1m_i-R_b^T(t_b+R^Tt)＝X_wi；

其中，R_b^TR^TK^-1m_i是一個三維列向量，其三個分量分別為a_i，b_i，c_i；R_b^T(t_b+R^Tt)是一個三維列向量，其三個分量分別為t₁，t₂和t₃；

則深度其中Z為機器人坐標系原點到管口平面的距離，為已知量；

管口的空間位置(X_i，Y_i)為Xi=aiλi-t1Yi=biλi-t2.]]>

2.根據權利要求1所述的基于視覺的管口空間位置定位方法，其特征在于，所述步驟E)還包括：當同一個圓被聚為不同的類，標記為不同的連通域，將不同的連通域進行曲線擬合后，再取其中心點的均值作為管口中心像點坐標m_i。