[發(fā)明專利]一種基于外觀和幾何信息融合的單目視覺(jué)道路識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711086341.5
• 申請(qǐng)日: 2017-11-07
• 公開（公告）號(hào): CN107944350B
• 公開（公告）日: 2020-09-01
• 發(fā)明（設(shè)計(jì)）人: 陳劍;賈丙西;王麒;張凱祥
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 林超

1.一種基于外觀和幾何信息融合的單目視覺(jué)道路識(shí)別方法，其特征在于：

1)由安裝在汽車上的照像機(jī)實(shí)時(shí)拍攝采集汽車前方道路場(chǎng)景的圖像，實(shí)時(shí)采集到圖像序列；

2)獲取圖像的外觀信息；

所述步驟2)中，獲取圖像的外觀信息具體為：采用以下公式利用混合高斯模型分別對(duì)原始圖像和光照不變圖像中道路的外觀信息進(jìn)行建模，建立外觀模型，以概率分布作為外觀信息；

其中，p(I_j)和p(L_j)分別表示原始圖像I和光照不變圖像L中像素點(diǎn)j為道路區(qū)域的概率分布，表示以μ_I，i為平均值的第i個(gè)高斯分布，表示以μ_L，i為平均值的第i個(gè)高斯分布，μ_I，i表示原始圖像I中第i個(gè)高斯分布的平均值，μ_L，i表示光照不變圖像L中第i個(gè)高斯分布的平均值，∑_I，i為原始圖像I中第i個(gè)高斯分布的方差，∑_L，i為光照不變圖像L中第i個(gè)高斯分布的方差，K為混合高斯分布中高斯分布的總數(shù)，φ_I，i表示原始圖像I中第i個(gè)高斯分布的權(quán)重系數(shù)，φ_L，i表示光照不變圖像L中第i個(gè)高斯分布的權(quán)重系數(shù)，i表示高斯分布的序數(shù)；

3)獲取圖像的幾何信息；

所述步驟3)中，獲取圖像的幾何信息是利用兩視圖幾何模型對(duì)原始圖像進(jìn)行識(shí)別，獲得高度信息作為幾何信息，具體為：

3.1)利用光流法對(duì)相鄰幀的道路場(chǎng)景圖像進(jìn)行處理，獲得相鄰幀之間圖像像素點(diǎn)的運(yùn)動(dòng)情況，獲得圖像中每一像素點(diǎn)的光流信息：

通過(guò)第k幀的圖像I_k、幾何信息和從第k幀到第k+1幀的相對(duì)運(yùn)動(dòng)變化估計(jì)第k+1幀圖像的光流場(chǎng)按照相同方式也得到第k幀圖像的光流場(chǎng)接著利用原始圖像I、第k幀圖像的光流場(chǎng)和兩視圖幾何模型估計(jì)第k+1幀圖像的光流場(chǎng)估計(jì)值使用第k+1幀的圖像I_k+1和第k+1幀的光流場(chǎng)計(jì)算第k+1幀圖像的增量光流場(chǎng)δF_k+1，將光流場(chǎng)估計(jì)值與增量光流場(chǎng)δF_k+1相加獲得第k+1幀圖像的實(shí)際光流場(chǎng)F_k+1；

3.2)利用第k+1幀圖像的實(shí)際光流場(chǎng)F_k+1采用以下公式計(jì)算獲得第k+1幀圖像的視差信息β_k+1：

其中，g_kl為投影單應(yīng)性矩陣G的第k行第l列，其中k,l＝1,2,3表示矩陣行和列的序號(hào)；α_u、α_v、cotθ、sinθ、u₀和v₀分別是來(lái)自于相機(jī)內(nèi)參矩陣α_u和α_v表示相機(jī)焦距在沿圖像橫縱坐標(biāo)u和v兩個(gè)方向上以像素為單位的值，θ表示相機(jī)中CCD陣列橫縱坐標(biāo)的傾斜參數(shù)，u₀和v₀表示相機(jī)光軸和成像平面之間的交點(diǎn)的坐標(biāo)沿兩個(gè)坐標(biāo)方向的分量，d為相機(jī)到地面的高度；x_fx、x_fy和x_fz為兩幀之間相機(jī)的平移量分別平行于x、y、z坐標(biāo)軸的三個(gè)分量；和分別是第k幀圖像和第k+1幀圖像中光流信息對(duì)應(yīng)的像素點(diǎn)的坐標(biāo)；β_k+1表示第k+1幀圖像的視差信息；

3.3)按照前面步驟相同方式獲得第k幀圖像的視差信息β_k，從第k幀圖像的視差信息β_k提取第k幀圖像的像素點(diǎn)的高度信息D_i：

4)利用外觀信息和幾何信息進(jìn)行道路預(yù)分割處理；

步驟4)中，針對(duì)圖像的每一個(gè)圖像列，對(duì)其中的像素點(diǎn)利用外觀信息進(jìn)行聚類，獲得聚類點(diǎn)，道路邊緣出現(xiàn)在聚類點(diǎn)的位置，具體為：

4.1)構(gòu)建以下目標(biāo)函數(shù)：

E(Ω(t))＝α_l·E_l+α_t·E_t+α_s·E_s

其中，E_l表示外觀相似度，E_t表示時(shí)間序列平滑度，E_s表示幾何平滑度；α_l、α_t、α_s分別為第一、第二、第三權(quán)重系數(shù)；Ω(t)表示在t時(shí)刻拍到的圖像中是道路區(qū)域的像素點(diǎn)的集合；

4.1.a)所述的外觀相似度E_l中主要由圖像外觀概率相似度、幾何結(jié)構(gòu)相似度和圖像梯度相似度構(gòu)成，具體如下：

所述的圖像外觀概率相似度計(jì)算為：

φ_a(Ω_i)＝-logp(I_i|Ω_i)

其中，φ_a(Ω_i)表示外觀概率相似度，Ω_i表示在Ω的第i列，Ω表示道路區(qū)域的像素點(diǎn)的集合，p(I_i|Ω_i)表示在Ω_i已知情況下圖像的第i列I_i的概率分布；

其中，p(I(i，j)|Ω_i)表示在Ω_i已知情況下像素點(diǎn)I(i,j)的概率分布，p(I(i，j))表示原始圖像I中坐標(biāo)為(i，j)的像素點(diǎn)為道路的概率值，C_CΩ_i表示為圖像中第i列非道路區(qū)域的像素點(diǎn)的集合，I(i,j)表示原始圖像I中坐標(biāo)為(i，j)的像素點(diǎn)；

所述的幾何結(jié)構(gòu)相似度計(jì)算為：

其中，φ_g表示了第i列視差信息的熵，計(jì)算第k+1幀圖像I_k+1和第k幀圖像I_k的視差圖，根據(jù)視差圖的第i列的值將其中的最大值和最小值之差等分分為l個(gè)區(qū)間，p_l表示視差信息落在第l個(gè)區(qū)間中的概率；

所述的圖像梯度相似度計(jì)算為：

其中，w_min，i表示Ω中第i列Ω_i中行數(shù)最小值；w_max，i表示Ω中第i列Ω_i中行數(shù)最大值；倒三角符號(hào)表示求取梯度；

4.1.b)所述的時(shí)間序列平滑度E_t計(jì)算如下：

其中，表示當(dāng)前道路圖像R_k與利用上一幀道路檢測(cè)結(jié)果估計(jì)的道路圖像之間的互相關(guān)因子，是根據(jù)之前幀的道路幾何模型和車輛的運(yùn)動(dòng)估計(jì)的第k幀的道路區(qū)域；r_i和分別表示當(dāng)前道路圖像R_k中的第i個(gè)像素點(diǎn)的像素值與利用上一幀道路檢測(cè)結(jié)果估計(jì)的道路圖像中的第i個(gè)像素點(diǎn)的像素值；和表示當(dāng)前道路圖像R_k中的所有像素點(diǎn)的平均像素值與利用上一幀道路檢測(cè)結(jié)果估計(jì)的道路圖像中的所有像素點(diǎn)的平均像素值；m和n表示整幅圖像的列數(shù)和行數(shù)；δ_i表示像素點(diǎn)存在參數(shù)，是否存在，如果存在則δ_i＝1，反之則δ_i＝0；

4.1.c)所述的幾何平滑度E_s計(jì)算如下：

其中m表示整幅圖像的列數(shù)，n表示整幅圖像的行數(shù)；

4.2)對(duì)原始圖像和光照不變圖像的每一列的像素點(diǎn)進(jìn)行聚類，獲得聚類點(diǎn)，聚類點(diǎn)作為道路邊緣的位置；

4.3)獲得道路區(qū)域和非道路區(qū)域的檢測(cè)結(jié)果，以圖像中道路區(qū)域和非道路區(qū)域的邊界作為道路邊緣；

5)最后進(jìn)行道路邊緣優(yōu)化。

2.根據(jù)權(quán)利要求1所述的一種基于外觀和幾何信息融合的單目視覺(jué)道路識(shí)別方法，其特征在于：所述步驟5)，具體為：

5.1)首先，利用相機(jī)的內(nèi)部和外部參數(shù)，將原始圖像進(jìn)行反透視變換得到鳥瞰圖；

5.2)用樣條曲線對(duì)道路邊緣進(jìn)行參數(shù)化構(gòu)建；

5.3)將參數(shù)化構(gòu)建獲得的樣條曲線描述為以下目標(biāo)函數(shù)：

E＝E_m+α_eE_e+α_pE_p+α_gE_g

其中，α_e、α_p、α_g分別為第四、第五、第六權(quán)重系數(shù)，E_m為描述道路邊緣平滑程度的項(xiàng)，E_p用來(lái)描述道路兩側(cè)邊緣的平行程度，E_e用來(lái)描述道路邊緣兩側(cè)的圖像外觀變化程度，E_g用來(lái)描述道路邊緣兩側(cè)幾何信息的變化程度，分別定義如下：

其中，表示位于右邊緣的道路的像素點(diǎn)z_k的導(dǎo)數(shù)，表示位于左邊緣的道路的像素點(diǎn)z_k的導(dǎo)數(shù)，表示位于左或右邊緣道路的像素點(diǎn)z_k的導(dǎo)數(shù)，z_k表示Z軸上的第k個(gè)像素點(diǎn)，Z表示坐標(biāo)系的z軸，Ω(z_k)表示在位于邊緣道路的像素點(diǎn)z_k周圍相鄰區(qū)域，N_Ω表示周圍相鄰像素點(diǎn)Ω(z_k)的數(shù)量，p_i表示像素點(diǎn)z_k周圍相鄰像素點(diǎn)，d_i表示像素點(diǎn)z_k與周圍相鄰像素點(diǎn)p_i的距離；ξ表示第一小量參數(shù)，是大于0的小量避免奇異性，E_I()表示在俯瞰圖中提取的圖像邊緣；E_gg()表示在俯瞰圖中幾何信息的邊緣，γ(z_k)表示距離閾值函數(shù)，γ(z_k)＝max(1,1/(z_k/D)²+ε)，用于忽略在離車輛較遠(yuǎn)區(qū)域的幾何信息，D為區(qū)域參數(shù)，為常數(shù)，ε表示第二小量參數(shù)，為大于0的小量避免奇異性；

5.4)以目標(biāo)函數(shù)最小為優(yōu)化目標(biāo)進(jìn)行求解，得到樣條曲線的最優(yōu)參數(shù)，所形成的樣條曲線作為最終道路邊緣，完成道路識(shí)別。