[發(fā)明專利]一種道路云監(jiān)控平臺下的攝像機(jī)標(biāo)定優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 201811480427.0
• 申請日: 2018-12-05
• 公開（公告）號: CN109685855B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計）人: 王偉;唐心瑤;張朝陽;武非凡;李俊彥;梁浩翔;雷琪;楊露;云旭;侯景嚴(yán);劉蒞辰;賈金明
• 申請（專利權(quán)）人: 長安大學(xué)
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 西安恒泰知識產(chǎn)權(quán)代理事務(wù)所 61216
• 代理人: 李婷

1.一種道路云監(jiān)控平臺下的攝像機(jī)標(biāo)定優(yōu)化方法，其特征在于，包括以下步驟：

步驟1，攝像機(jī)模型和坐標(biāo)系的建立

步驟1.1，建立世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系和相機(jī)模型，其中將相機(jī)模型簡化為針孔模型；

步驟1.2，將相機(jī)拍攝的圖像中路面上任意一點(diǎn)的世界坐標(biāo)轉(zhuǎn)換到圖像坐標(biāo)系中，得到世界坐標(biāo)系的點(diǎn)與圖像坐標(biāo)系的點(diǎn)的投影關(guān)系；

步驟2，最小標(biāo)定條件的選取及標(biāo)定結(jié)果的計算

步驟2.1，將圖像坐標(biāo)系中多條平行直線的交點(diǎn)轉(zhuǎn)換為鉆石空間中折線組的交點(diǎn)；

步驟2.2，將鉆石空間中折線組的交點(diǎn)變換到圖像坐標(biāo)系中，求得圖像坐標(biāo)系的消失點(diǎn)坐標(biāo)；

步驟2.3，根據(jù)步驟2.2得到的消失點(diǎn)坐標(biāo)的數(shù)量確定最小標(biāo)定條件，計算標(biāo)定結(jié)果；

步驟3，標(biāo)定結(jié)果的優(yōu)化

在最小標(biāo)定條件和求解出的標(biāo)定結(jié)果的基礎(chǔ)上，判斷如果道路場景中有冗余信息，則利用所述冗余信息對標(biāo)定的結(jié)果進(jìn)行優(yōu)化；

所述的根據(jù)步驟2.2得到的消失點(diǎn)坐標(biāo)的數(shù)量確定最小標(biāo)定條件，計算標(biāo)定結(jié)果，包括：

在道路交通場景中，道路的物理幾何信息包括車道邊緣線、道路虛線和道路寬度，其物理參量都具有國家標(biāo)準(zhǔn)，這些信息的自由組合加上識別的消失點(diǎn)共同構(gòu)成最小標(biāo)定條件；選取最小標(biāo)定條件的具體步驟如下：

根據(jù)消失點(diǎn)的數(shù)量不同，最小標(biāo)定條件可分為以下兩類：

(1)兩個互垂直消失點(diǎn)的情況

引入路面延伸方向的消失點(diǎn)(u₀，v₀)，和垂直方向形成的消失點(diǎn)(u₁，v₁)，y軸與路面延伸方向夾角為θ，可知世界坐標(biāo)系中路面延伸方向無窮遠(yuǎn)點(diǎn)坐標(biāo)為x₀＝[-tanθ 1 0 0]^T，垂直方向無窮遠(yuǎn)點(diǎn)坐標(biāo)為x₁＝[1 tanθ 0 0]^T，由消失點(diǎn)原理可知，(u₀，v₀)及(u₁，v₁)為x₀與x₁在圖像空間中的投影；將坐標(biāo)代入(1)、(2)式中化簡可得以下結(jié)果：

令v₁＝v₀，對上述公式進(jìn)行變換，可得到f，φ及θ的表達(dá)式：

結(jié)合(3)、(4)、(5)式由兩個互垂直消失點(diǎn)坐標(biāo)可以求得f，φ，θ，由于h已知，因此完成標(biāo)定過程；

(1-2)相機(jī)高度h未知的情況

設(shè)道路虛線標(biāo)識的物理長度為l，虛線端點(diǎn)物理縱坐標(biāo)及像素坐標(biāo)分別設(shè)為：y_b和y_f，v_b和v_f；道路物理寬度為w，與圖像坐標(biāo)系橫坐標(biāo)截距像素長度為δ；

由(2)式可以反算出物理坐標(biāo)y的表示形式：

物理坐標(biāo)y與對應(yīng)像素橫坐標(biāo)u無關(guān)，因此對于道路任意位置與道路方向平行的虛線l，可建立等式關(guān)系：y_b＝y(tǒng)_f+lcosθ；用兩種方式將y_f表達(dá)出來進(jìn)行聯(lián)立，求解出h：

將(4)式中的條件代入，可得關(guān)于h的表達(dá)式：

其中為計算方便引入中間變量τ＝(v_f-v₀)(v_b-v₀)/(v_f-v_b)；

由上述推導(dǎo)可知虛線標(biāo)識l可以間接表示相機(jī)高度h，結(jié)合(3)、(4)、(5)式由兩個互垂直消失點(diǎn)坐標(biāo)可以求得f，φ，θ，所有未知參數(shù)f，φ，θ及h都已求解，因此完成標(biāo)定過程；

(2)單個消失點(diǎn)的情況

(2-1)相機(jī)高度h未知的情況

設(shè)路面延伸方向的消失點(diǎn)坐標(biāo)為(u₀，v₀)，引入道路寬度w和虛線l，寬度w也可以建立起與高度h的等式關(guān)系；設(shè)道路中沿世界坐標(biāo)系的x軸方向與道路邊界截距設(shè)為Δx，對應(yīng)圖像中的截距為Δu，將Δx和Δu代入(1)式化簡可得：

從上式中反解出h：

為了簡便表達(dá)，考慮v＝0特殊情形下所得的截距Δu＝δ；

y|_v＝0＝hcotφ

同時，Δx與道路寬度w滿足等式關(guān)系Δx＝wsecθ，將y|_v＝0＝hcotφ代入上述反解出的h表達(dá)式，可得道路寬度w與高度h的等式關(guān)系：

將(6)、(7)式進(jìn)行聯(lián)立：

由(4)、(5)式可以解出cosθ，sinφ：

由于已知參量是消失點(diǎn)(u₀，v₀)，l及w與其對應(yīng)的圖像投影值，將(8)、(9)式代入(6)、(7)式聯(lián)立的等式中可得關(guān)于未知參量f的四次方程：

其中，為計算方便引入中間變量k_V＝δτl/wv₀；

由于是關(guān)于f的四次方程，根據(jù)f＞0的約束，方程如果有兩個正根解無法舍去時，應(yīng)對f進(jìn)行約束找出正確解，在實(shí)際應(yīng)用場景中，常用相機(jī)高度h作為判斷依據(jù)，求解出兩個待定的正根f和每個正根對應(yīng)的φ，θ后，代入(6)或(7)式中，利用實(shí)際場景h滿足一定范圍的特性以確定唯一的根；當(dāng)f唯一確定之后，根據(jù)(4)(5)式可以求解φ，θ，根據(jù)(6)或(7)式可以求解h，所有未知參數(shù)都已求解，因此完成標(biāo)定過程；

(2-2)相機(jī)高度h已知的情況

此時的物理標(biāo)識參量可以為道路虛線長度l或者道路寬度w，剩余的可以作為冗余條件對標(biāo)定參數(shù)進(jìn)行優(yōu)化；

如果物理標(biāo)識參量為道路寬度w，通過對(7)式兩邊平方，再代入(8)、(9)式的條件，可得關(guān)于未知參量f的四次方程：

其中，為計算方便引入中間變量k_W＝wv₀/hδ；

由于是關(guān)于f的四次方程，根據(jù)f＞0的約束，方程如果有兩個正根解無法舍去時，應(yīng)對f進(jìn)行約束找出正確解，由于相機(jī)高度已知，不能再用作判斷依據(jù)，因此選用l作為判斷依據(jù)；求解出兩個待定的正根f和每個正根對應(yīng)的φ，θ后，利用標(biāo)定信息f，φ，h根據(jù)(11)、(12)、(13)、(14)式和兩點(diǎn)間距離公式計算出l的空間距離，與真實(shí)物理距離相比，選取誤差較小的l對應(yīng)的根f；當(dāng)f唯一確定之后，根據(jù)(4)、(5)式可以求解φ，θ，由于h已知，因此完成標(biāo)定過程；

如果物理標(biāo)識參量為道路虛線長度l，通過對(6)式兩邊平方，再代入(8)式的條件，可得關(guān)于未知參量f的四次方程：

其中，為計算方便引入中間變量k_L＝τl/h；

由于是關(guān)于f的四次方程，根據(jù)f＞0的約束，方程如果有兩個正根解無法舍去時，應(yīng)對f進(jìn)行約束找出正確解，由于相機(jī)高度已知，不能再用作判斷依據(jù)，因此選用l作為判斷依據(jù)；求解出兩個待定的正根f和每個正根對應(yīng)的φ，θ后，利用標(biāo)定信息f，φ，h根據(jù)(11)、(12)、(13)、(14)式和兩點(diǎn)間距離公式計算出l的空間距離，與真實(shí)物理距離相比，選取誤差較小的l對應(yīng)的根f；當(dāng)f唯一確定之后，根據(jù)(4)、(5)式可以求解φ，θ，由于h已知，因此完成標(biāo)定過程。