[發(fā)明專利]基于兩個(gè)滅點(diǎn)和局部物體尺度的全局空間尺度測(cè)量方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110583562.3
• 申請(qǐng)日: 2021-05-27
• 公開(kāi)（公告）號(hào): CN113313768B
• 公開(kāi)（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 熊赟暉;周曉慧;丁曉鳳;彭長(zhǎng)歆;張智敏
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06T7/80
• 分類號(hào): G06T7/80;G06T7/70
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

1.基于兩個(gè)滅點(diǎn)和局部物體尺度的全局空間尺度測(cè)量方法，其特征在于，該方法不需要額外的基準(zhǔn)目標(biāo)，只需做出假設(shè)：輸入的單目圖像能夠供用戶至少選取兩組正交的平行線用以計(jì)算相應(yīng)的兩個(gè)滅點(diǎn)，圖像中包含已知真實(shí)尺度的參照物體，投影中心是圖像中心；其包括以下步驟：

1)從圖像上待估計(jì)尺度建筑物上選擇兩組互相正交的平行線組，計(jì)算兩組平行線所構(gòu)成的兩個(gè)滅點(diǎn)坐標(biāo)；

已知用戶所選擇的平行線組，令滅點(diǎn)的平行線組為D₁,D₂,…,D_n，D_i代表第i條直線，i＝1…n，這些直線在像平面都經(jīng)過(guò)同一點(diǎn)，即接下來(lái)要求的滅點(diǎn)V，平行線組D₁,D₂,…,D_n和V在像平面上的關(guān)系用向量的形式表示為：MV＝0，式中M為平行線組矩陣，M＝[D₁,D₂,…,D_n]^T，D_i＝[A_i,B_i,C_i]，其相應(yīng)的直線方程為A_ix+B_iy+C_iz＝0，其中A_i,B_i,C_i是第i條直線的三維分量，x、y、z是世界坐標(biāo)系的x軸、y軸、z軸，通過(guò)最小二乘法將滅點(diǎn)的計(jì)算轉(zhuǎn)化為線性代數(shù)的問(wèn)題計(jì)算，求出用戶選擇的平行線組的滅點(diǎn)坐標(biāo)，滅點(diǎn)坐標(biāo)信息包含相機(jī)焦距；

2)通過(guò)兩個(gè)滅點(diǎn)坐標(biāo)和一條已知線段的真實(shí)尺度，計(jì)算單目圖像相機(jī)標(biāo)定的旋轉(zhuǎn)矩陣和平移向量，具體如下：

a、計(jì)算旋轉(zhuǎn)矩陣

令世界坐標(biāo)系R_w以A點(diǎn)作為原點(diǎn)，由三個(gè)方向的正交基向量構(gòu)成：α,β,γ，γ＝α×β，同樣地，相機(jī)坐標(biāo)系R_c以O(shè)點(diǎn)作為原點(diǎn)，由三個(gè)方向的正交基向量構(gòu)成α_c,β_c,γ_c，γ_c＝α_c×β_c，令W＝(A,α,β,γ)、C＝(O,α_c,β_c,γ_c)和像平面坐標(biāo)系S＝(P,α_c,β_c)，其中P點(diǎn)為相機(jī)中心在像平面上的正交投影，令世界坐標(biāo)系W到相機(jī)坐標(biāo)系C的旋轉(zhuǎn)矩陣為R，則有：

R·α＝α_c,R·β＝β_c,R·γ＝γ_c

假設(shè)直線OV₁和OV₂過(guò)投影中心其分別平行于向量α′和β′，V₁、V₂為滅點(diǎn)，易知基向量(α,β,γ)和向量(α′,β′,γ′)相似，因此C＝(O,α_c,β_c,γ_c)和W＝(A,α,β,γ)之間的旋轉(zhuǎn)變換相同，假設(shè)向量α′、β′、γ′在相機(jī)系C下的坐標(biāo)α′_C、β_C、γ′_C已知，則有：

其中，為直線OV₁、OV₂方向向量在相機(jī)坐標(biāo)系下的坐標(biāo)，是滅點(diǎn)V₁、V₂在基向量α_c,β_c方向上的分量，為γ′_C在相機(jī)坐標(biāo)系的基向量α_c,β_c,γ_c方向上的分量，f是相機(jī)焦距，焦距f由滅點(diǎn)的性質(zhì)可得，故：

R·α_W＝α′_c,R·β_W＝β′_c,R·γ_W＝γ′_c

在世界坐標(biāo)系W中，有基向量α_W＝(1,0,0),β_W＝(0,1,0),γ_W＝(0,0,1),聯(lián)合上述兩式，推導(dǎo)得到世界坐標(biāo)系W到相機(jī)坐標(biāo)系C的旋轉(zhuǎn)矩陣為：

b、計(jì)算平移向量

設(shè)O點(diǎn)為相機(jī)中心，P點(diǎn)為圖像中心即投影中心，MN為空間中已知真實(shí)尺度的線段，M′N′為MN在像平面上的投影，過(guò)M′沿MN做直線M′N″交ON于點(diǎn)N″，假設(shè)世界坐標(biāo)系原點(diǎn)位于點(diǎn)M，易知道向量OM即為相機(jī)坐標(biāo)系C變換到世界坐標(biāo)系W的平移向量，故平移向量T＝-OM，易知M′N″//MN，因此三角形ΔOM′N″和三角形ΔOMN是相似三角形，故有：

由此，能夠得到向量OM的長(zhǎng)度，而向量OM的方向與向量OM′相同，因此向量OM能夠計(jì)算求得，平移向量也能夠計(jì)算得出：T＝-OM；

3)利用旋轉(zhuǎn)矩陣、平移向量以及滅點(diǎn)坐標(biāo)隱含的焦距信息將像素坐標(biāo)轉(zhuǎn)化為世界坐標(biāo)，根據(jù)建筑物體各點(diǎn)的世界坐標(biāo)和拓?fù)潢P(guān)系，通過(guò)歐幾里得距離公式計(jì)算得到建筑物體的估計(jì)尺度。

2.根據(jù)權(quán)利要求1所述的基于兩個(gè)滅點(diǎn)和局部物體尺度的全局空間尺度測(cè)量方法，其特征在于：在步驟3)中，利用旋轉(zhuǎn)矩陣、平移向量以及滅點(diǎn)坐標(biāo)隱含的焦距信息將像素坐標(biāo)轉(zhuǎn)化為世界坐標(biāo)，根據(jù)建筑物體各點(diǎn)的世界坐標(biāo)和拓?fù)潢P(guān)系，再通過(guò)歐幾里得距離公式計(jì)算得到建筑物體的估計(jì)尺度，具體步驟如下：

3.1)將像素坐標(biāo)轉(zhuǎn)化為世界坐標(biāo)

像素坐標(biāo)系[u,v]向世界坐標(biāo)系[X_w,Y_w,Z_w]進(jìn)行轉(zhuǎn)換的實(shí)質(zhì)是先由像素坐標(biāo)系轉(zhuǎn)化為圖像坐標(biāo)系[x,y]，再由圖像坐標(biāo)系轉(zhuǎn)化為相機(jī)坐標(biāo)系[X_C,Y_C,Z_C]，最后再由相機(jī)坐標(biāo)系轉(zhuǎn)化至世界坐標(biāo)系；

單目相機(jī)拍攝的圖像滿足透視投影的原理，由針孔相機(jī)模型能夠得到像素坐標(biāo)和世界坐標(biāo)之間的數(shù)學(xué)關(guān)系如下：

其中，(u₀,v₀)為圖像中心像素坐標(biāo)，f_x、f_y為焦距在橫軸x、縱軸y上的分量，因此，利用之前所得的焦距信息、旋轉(zhuǎn)矩陣R和平移向量T即可將像素坐標(biāo)轉(zhuǎn)化為世界坐標(biāo)；

3.2)根據(jù)建筑物體各點(diǎn)的世界坐標(biāo)和拓?fù)潢P(guān)系，再通過(guò)歐幾里得距離公式計(jì)算得到建筑物體的估計(jì)尺度，具體如下：

選取已知尺度d_true參照物的兩個(gè)像素點(diǎn)(u₁,v₁)、(u₂,v₂)，再結(jié)合相機(jī)參數(shù)焦距f獲取世界坐標(biāo)(X_W1,Y_W1,Z_W1)、(X_W2,Y_W2,Z_W2)，通過(guò)歐幾里得距離公式計(jì)算得到建筑物體的估計(jì)尺度d：