[發(fā)明專利]基于雙目立體視覺與光流融合的車輛運動信息檢測方法

有效

• 申請?zhí)枺?/td>: 201410565278.3
• 申請日: 2014-10-22
• 公開（公告）號: CN104318561A
• 公開（公告）日: 2015-01-28
• 發(fā)明（設(shè)計）人: 閔琪;吳健健;黃影平
• 申請（專利權(quán)）人: 上海理工大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/20;G06T17/00
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 吳寶根

技術(shù)領(lǐng)域

本發(fā)明涉及一種運動視覺處理技術(shù)，特別涉及一種基于雙目立體視覺與光流融合的車輛運動信息檢測方法。

背景技術(shù)

在智能汽車領(lǐng)域，為了實現(xiàn)對車輛周圍環(huán)境的感知，需要知道車輛自身的運動信息，包括三維平移運動速度和三維旋轉(zhuǎn)角速度。

常用的方法是利用專門陀螺慣導(dǎo)裝置獲取這些信息，這種方法給車輛增加了額外的裝置，其提供的數(shù)據(jù)也存在精度和穩(wěn)定性不高的問題。另一種方法是利用單目視覺圖像的視覺里程計方法，這種方法通過計算特定運動物體的特征點的光流來獲取車輛自身運動信息。這種方法通常只適合于較簡單的場景，在變化的復(fù)雜背景中，若存在大量的運動物體，其他運動物體的特征點對于車輛自身運動分析會造成大的干擾，降低估計的準(zhǔn)確度。另外，光流計算的采用稠密光流計算，計算量相當(dāng)巨大，難以滿足實時性要求。

發(fā)明內(nèi)容

本發(fā)明是針對傳統(tǒng)的視覺里程計定位因變化的復(fù)雜背景導(dǎo)致準(zhǔn)確度低的問題，提出了一種基于雙目立體視覺與光流融合的車輛運動信息檢測方法,分析處理雙目立體攝像機拍攝的左右圖像序列，經(jīng)過特征匹配、三維重建、特征提取、光流計算等步驟，獲得車體三維空間速度與三維空間角速度的運動信息，實現(xiàn)車體的運動信息估計。

本發(fā)明的技術(shù)方案為：一種基于雙目立體視覺與光流融合的車輛運動信息檢測方法，具體包括如下步驟：

1）雙目攝像機設(shè)置攝像機的高度與相對地面的傾斜角度，拍攝左右視頻圖像序列；

2）圖像采集卡接收并將雙目攝像機拍攝到的視頻模擬信號轉(zhuǎn)換為視頻數(shù)字信號，圖像采集卡存儲圖像的數(shù)字信號；

3）左右圖像預(yù)處理模塊對圖像采集卡傳出的圖像進行濾波處理，消除雙目攝像機自身的信號干擾；

4）左右圖像預(yù)處理模塊輸出圖像進入左右圖像立體匹配模塊中，左右圖像立體匹配模塊計算像素灰度相關(guān)系數(shù)，設(shè)定合適閾值、并與灰度相關(guān)系數(shù)比較大小實現(xiàn)立體匹配；

5）三維空間重建模塊對左右圖像立體匹配模塊獲取的視差還原三維深度信息；

6）地面點標(biāo)定模塊，用雙目攝像機的高度和角度運算處理，建立地面點的數(shù)學(xué)模型，標(biāo)記出地面感興趣的點；

7）光流場確定模塊采用Lucas-Kanade算法對步驟6）所標(biāo)記的地面感興趣點進行加權(quán)運算獲得地面感興趣點光流大小；

8）運動參數(shù)確定模塊，根據(jù)步驟5）和步驟7）所得三維深度信息和光流大小，運用線性最小二乘法實現(xiàn)車輛的運動信息估計。

所述步驟4）立體匹配：設(shè)定5*5區(qū)域作為相關(guān)窗，選取步驟3）獲得的左邊緣圖作為參考圖，步驟3）獲得的右邊緣圖作為待配準(zhǔn)圖，遍歷左邊緣圖中的邊緣點，計算匹配點簇的像素灰度相關(guān)系數(shù)，設(shè)定閥值，將相關(guān)系數(shù)矩陣中的最大值與設(shè)定閾值比較，如果相關(guān)系數(shù)大于預(yù)定義的閥值，則在右邊緣圖中標(biāo)記相應(yīng)點為匹配點，并計算左邊緣圖中像素的視差；

左右邊緣特征點像素灰度相關(guān)系數(shù)Coef：?

式中，為左邊緣圖匹配窗口的灰度值，為右邊緣圖匹配窗口的灰度值，和分別為左右兩匹配窗口像素點的平均灰度值，N為5*5匹配窗口的中像素點個數(shù);

左邊緣圖各像素點的視差d：

式中，為左邊緣圖像素點在圖像坐標(biāo)系下的橫坐標(biāo)值，為右邊緣圖像素點在圖像坐標(biāo)系下的橫坐標(biāo)值。

所述步驟5）中三維深度信息：由步驟4）中計算的視差值，根據(jù)透射投影模型重建三維坐標(biāo)：

?

式中,b為雙目攝像機基線長度,f為攝像機焦距，x_l為左邊緣圖像素點在圖像坐標(biāo)系下的橫坐標(biāo)值，y_l為左邊緣圖像素點在圖像坐標(biāo)系下的縱坐標(biāo)值，Z為場景的三維空間深度信息，即空間任意點與基線之間的距離，X,Y為場景在三維空間坐標(biāo)系下的坐標(biāo)值。

所述步驟6）建立地面點的數(shù)學(xué)模型：首先計算不同深度下的地面點的高度值Y_g，然后與相同深度像素點的三維重建的Y軸坐標(biāo)值比較，若Y軸坐標(biāo)值小于等于Y_g，則該像素點標(biāo)記為地面感興趣點，反之，該像素點舍棄，