[發明專利]基于光柵投射立體視覺的機器人視覺系統及導航方法

在審

• 申請號: 201711021347.4
• 申請日: 2017-10-27
• 公開（公告）號: CN108344972A
• 公開（公告）日: 2018-07-31
• 發明（設計）人: 張曉玲;羅印升;王田虎;李成成
• 申請（專利權）人: 江蘇理工學院
• 主分類號: G01S5/16
• 分類號: G01S5/16;G01C21/26
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 康瀟

1.基于光柵投射立體視覺的機器人視覺系統，安裝在機器人的頭部，其特征在于：包括傳感器主體(1)、光柵投射裝置(2)、第一攝像機(3)和第二攝像機(4)，所述的光柵投射裝置(2)、第一攝像機(3)和第二攝像機(4)均安裝在傳感器主體(1)的正前方，所述的光柵投射裝置(2)置于第一攝像機(3)和第二攝像機(4)之間，所述的第一攝像機(3)和第二攝像機(4)設置在同一水平線上，光柵投射裝置(2)的光軸、第一攝像機(3)的光軸和第二攝像機(4)的光軸均與地面成一定的角度，機器人在運動過程中，光柵投射裝置(2)每隔一定時間向機器人前方投射光柵條紋，同時，第一攝像機(3)和第二攝像機(4)采集受到機器人周圍場景調制的變形條紋圖像，通過變形條紋圖像獲得障礙物的距離以及機器人周圍場景三維形貌，機器人根據障礙物的距離以及機器人周圍場景三維形貌進行移動。

2.根據權利要求1所述的基于光柵投射立體視覺的機器人視覺系統，其特征在于：所述的光柵投射裝置(2)為光柵條紋儀，第一攝像機(3)的鏡頭和第二攝像機(4)的鏡頭均為CCD鏡頭。

3.利用權利要求1所述的基于光柵投射立體視覺的機器人視覺系統進行導航的方法，其特征在于：包括如下步驟：

1)光柵投射裝置(2)每隔一定時間向機器人前方投射光柵條紋；

2)機器人在移動過程中建立光柵投射立體視覺的幾何模型，第一攝像機(3)和第二攝像機(4)采集受到機器人周圍場景調制的變形條紋圖像，及時恢復出各個周圍場景的三維坐標，以圖像序列中特征目標的3D坐標為核心，利用立體跟蹤的方法研究運動目標的跟蹤識別，并研究機器人的姿態、朝向以及行駛距離與目標之間的關系，實現機器人車體的精確運動估計，實現未知環境中機器人的運動估計和精確定位。

4.根據權利要求3所述的基于光柵投射立體視覺的機器人視覺系統進行導航的方法，其特征在于：根據光柵條紋面SPQ、攝像機空間平面o_aPQ和o_bPQ相交求交匯的方法建立光柵投射立體視覺的幾何模型；投射的光柵條紋面方程為

其中：α為光柵條紋面SPQ與光柵投射坐標系中O_SY_SZ_S面之間的夾角，世界坐標系(o_w-x_wy_wz_w)、機器人坐標系(o_R-x_Ry_Rz_R)、攝像機坐標系(o_a-x_ay_az_a,o_b-x_by_bz_b)、圖像坐標系(O_aX_aY_a,O_bX_bY_b)、離散像素坐標系(O_EaX_EaY_Ea,O_EbX_EbY_Eb)、光柵投射坐標系(O_S-X_SY_SZ_S)，將光柵條紋面方程轉化到世界坐標中，則有

其中R_sw和T_sw分別為從光柵投射坐標系到世界坐標系的旋轉矩陣和平移矩陣，其中，R_sw1、R_sw2、R_sw3、R_sw4、R_sw5、R_sw6、R_sw7、R_sw8、R_sw9、T_sw1、T_sw2和T_sw3通過標定獲得；

攝像機空間平面o_aPQ方程為

A₁x_a+B₁y_a+C₁z_a+D₁＝0， (5)

根據攝像機的透視變換原理，可以建立離散像素坐標系O_EaX_EaY_Ea與攝像機坐標系o_a-x_ay_az_a之間的關系，有

其中：λ₁、u_a、ν_a、u₀、ν₀和f_a通過標定獲得；將o_a,P_a,Q_a三點在離散像素坐標系中的坐標代入公式(2)，求解出方程中A₁、B₁、C₁、D₁的值；

攝像機空間平面o_bPQ方程為：

A₂x_b+B₂y_b+C₂z_b+D₂＝0。 (7)

攝像機坐標系與世界坐標系之間的關系為

其中R_aw、R_bw和T_aw、T_bw分別為從攝像機坐標系到世界坐標系的旋轉矩陣和平移矩陣，R_aw1、R_aw2、R_aw3、R_aw4、R_aw5、R_aw6、R_aw7、R_aw8、R_aw9、R_bw1、R_bw2、R_bw3、R_bw4、R_bw5、R_bw6、R_bw7、R_bw8、R_bw9、T_aw1、T_aw2、T_aw3、T_bw1、T_bw2和T_bw3通過標定獲得；

將公式(5)、(7)和公式(8)聯立，得到兩攝像機空間平面在世界坐標系中的方程；將公式(1)和(2)聯立，得到光柵條紋平面在世界坐標系中的方程。由于空間點P、Q一定位于這兩個聯立方程中，解這兩個聯立方程即可得到空間曲線PQ的方程，并求解出P、Q在世界坐標系中的坐標值。