[發(fā)明專利]倒車影像3D場景重構(gòu)方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310086711.0
• 申請日: 2013-03-18
• 公開（公告）號: CN103150748B
• 公開（公告）日: 2017-03-22
• 發(fā)明（設(shè)計）人: 劉淼;趙亮;金星;談金東;秦英安
• 申請（專利權(quán)）人: 大連慈航電子有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;B60R1/00
• 代理公司: 大連東方專利代理有限責任公司21212
• 代理人: 李馨,李洪福

技術(shù)領(lǐng)域

本發(fā)明涉及一種G06計算；推算；計數(shù)G06T一般的圖像數(shù)據(jù)處理或產(chǎn)生G06T15/003D［三維］圖像的加工。

背景技術(shù)

近年來，隨著汽車保有量的增長，交通事故的數(shù)量也逐年遞增。統(tǒng)計數(shù)據(jù)表明，在中國由于車輛后方盲區(qū)所導致的交通事故所占比例已達30%，在美國這一比例也高達20%。針對這一問題，近些年誕生了很多種倒車輔助裝置用以幫助駕駛員判斷車輛后方的環(huán)境，防止與車輛后方的人員、物體發(fā)生刮蹭、碰撞。目前，倒車輔助裝置主要分為兩種技術(shù)路線。一種是基于超聲波測距技術(shù)的倒車雷達裝置；另一種是基于圖像傳感器技術(shù)的倒車影像裝置。

倒車雷達裝置一般在汽車尾部后保險杠上安裝若干對超聲波發(fā)射器和接收探頭，當?shù)管嚂r，超聲波發(fā)射器發(fā)射的超聲波遇到障礙物時產(chǎn)生回波，再由響應(yīng)的接受探頭對回波進行捕獲，經(jīng)控制器處理，計算出障礙物與車尾的距離。當測量到的障礙物與車尾距離過近時，倒車雷達系統(tǒng)向駕駛員發(fā)出報警信息。一般單個超聲波探頭覆蓋范圍約為45度，誤差在5厘米左右。受空間和成本約束，目前的倒車雷達系統(tǒng)通常采用2至4對探頭的安裝方案。安裝倒車雷達裝置后，駕駛員能夠?qū)囕v后方盲區(qū)內(nèi)的障礙物進行粗略的方位和距離上的判斷。受探頭測量精度和覆蓋范圍的限制，倒車雷達裝置存在較大的檢測盲區(qū)，對于高度較低和距離車輛尾部較近的障礙物，如石塊、溝壑、兒童等，倒車雷達可能無法發(fā)現(xiàn)和報警。駕駛員過度依賴于倒車雷達裝置，經(jīng)常導致事故的發(fā)生。

倒車影像裝置是通過攝像頭拍攝車輛后方的環(huán)境，并實時顯示在車載顯示單元上。部分倒車影像產(chǎn)品會在顯示單元上顯示出預計的倒車路徑，以幫助駕駛員觀察在倒車路徑上是否存在障礙物。單個攝像頭構(gòu)成的倒車影像裝置雖然覆蓋面廣、效果直觀，但也存在較大的局限性，一方面受鏡頭視角、光學畸變、透視效應(yīng)等影像，倒車影像顯示與真實場景相比存在一定失真，可能導致駕駛員誤判斷；另一方面，倒車影像顯示的僅僅是2D的平面圖像，駕駛員難以從中獲得真實的距離感，對于障礙物的高度也難以做出準確的判斷。

發(fā)明內(nèi)容

本發(fā)明針對以上問題的提出，而研制的一種倒車影像3D場景重構(gòu)方法，具有如下步驟：

S100.采集車輛后部的連續(xù)多幀圖像，提取每一幀圖像的特征點；

S200.對相鄰兩幀圖像中的特征點進行跟蹤匹配；

S300.對匹配成功的特征點，使用外極幾何原理推算所述兩特征點的對應(yīng)點在空間中的坐標；得到兩視圖無絕對尺度的3D重構(gòu)影像；

S400.重復步驟S100-S300完成對所述連續(xù)多幀圖像的無絕對尺度的3D重構(gòu)，從而形成車輛后方一定空間內(nèi)場景結(jié)構(gòu)的3D重構(gòu)。

還具有步驟S500.采用慣性測量單元（IMU）和數(shù)字羅盤輸出的加速度、角速度、方向信息，進行真實環(huán)境尺度的估算。并應(yīng)用擴展卡爾曼濾波（EKF）對多傳感器數(shù)據(jù)進行融合。狀態(tài)向量x_k由攝像頭的位置坐標p_ec,k、速度v_ec,k、加速度a_ec,k、角速度ω_ec,k、比例因子s_k、攝像頭方向q_e,k、加速度傳感器偏移b_a,k和陀螺儀偏移b_w,k組成：

x_k＝{p_ec,k,v_ec,k,a_ec,k,ω_ec,k,s_k,q_e,k,b_a,k,b_ω,k}

真實世界和視覺世界比例因子由s_k表示，它在每個狀態(tài)都會被重新評估。攝像頭方向q_e,k由四元組{q_e0,k,q_ex,k,q_ey,k,q_ez,k}組成。

攝像頭的運動狀態(tài)估算是根據(jù)帶輸入噪音的加速度、角速度和實際測量結(jié)果z_k。其過程可表示為：

x_k＝f(x_k-1,u_k-1,n_k-1)

z_k＝hx_k+m_k