[發(fā)明專利]一種應用于三目相機立體標定的TCSC方法

在審

• 申請?zhí)枺?/td>: 202010540646.4
• 申請日: 2020-06-15
• 公開（公告）號: CN113450416A
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計）人: 王紅一;石亞芳;宋麗梅
• 申請（專利權(quán)）人: 天津工業(yè)大學
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.本發(fā)明涉及一種三相機立體標定方法，其特征在于，包含步驟如下：

步驟1：完成對三個相機的單目標定，獲得各個相機的內(nèi)外參數(shù)信息；

以相機1為例，利用相機1所拍攝到的標定板圖像，在計算機中進行圖像處理，獲取棋盤格標定圖像的角點信息，并對得到的所有角點進行排序和編號，根據(jù)公式(1)中標定角點的世界坐標系(X_w，Y_w，Z_w)和像素坐標系(u₁，v₁)之間的關(guān)系，結(jié)合多張圖像即可計算出相機1的內(nèi)參矩陣M₁和相對于世界坐標的外參信息(旋轉(zhuǎn)矩陣R₁和平移向量T₁)；

式中，Z_c是相機的主軸，d_x和d_y是圖像中每個像素在u軸和v軸上的物理尺寸，f是焦距，u₀和v₀是標定板圖像坐標系中的原點，而內(nèi)參矩陣

利用上述方法，對相機2和相機3分別進行單目標定，得到相機2的內(nèi)參矩陣M₂、旋轉(zhuǎn)矩陣R₂和平移向量T₂，相機3的內(nèi)參矩陣M₃、旋轉(zhuǎn)矩陣R₃和平移向量T₃；且完成對三個相機的標定后，可獲得空間中有效視野范圍內(nèi)任一點在三幅圖像中的像素點坐標；

步驟2：根據(jù)棋盤格角點的位置匹配，進行雙目相機標定；在雙目相機標定過程中，攝像機內(nèi)參矩陣的求解過程與單目相機標定時所用方法相同；雙目相機外參標定時，利用各個相機相對于世界坐標的旋轉(zhuǎn)矩陣和平移向量，將相機2和相機3分別與相機1進行標定計算，以得到相機2與相機1、相機3與相機1的相機坐標系之間的位置關(guān)系矩陣，即雙相機的旋轉(zhuǎn)矩陣和平移向量；

先對相機1和相機2進行雙目標定；假設(shè)空間中某一點為p，已知其世界坐標為p_w，p點在相機1和相機2坐標系下的坐標為：

p₁＝R₁·p_w+T₁ 公式(2)

p₂＝R₂·p_w+T₂ 公式(3)

且兩個相機坐標p₁和p₂的關(guān)系為：

p₁＝R′₁₂·p₂+T′₁₂ 公式(4)

式中，R′₁₂和T′₁₂分別是相機1和相機2之間的旋轉(zhuǎn)矩陣和平移向量；

根據(jù)公式(4)即可以推導出相機2和相機1之間的位置關(guān)系(旋轉(zhuǎn)矩陣R′₁₂和平移向量T′₁₂)：

同理，相機3和相機1之間的位置關(guān)系(旋轉(zhuǎn)矩陣R′₁₃和平移向量T′₁₃)也可求出：

步驟3：利用步驟2中獲得的兩相機間的旋轉(zhuǎn)矩陣和平移向量，對相機圖像進行立體校正，改善因相機擺放位置差異而導致的兩圖像行對不齊的問題，以達到兩個圖像同行共面的目的，降低下一步立體匹配計算的復雜程度；

以相機1和相機2獲得的兩張圖像為例，首先將旋轉(zhuǎn)矩陣R′₁₂分解為r₁和r₂，分別作用于兩個相機坐標系，實現(xiàn)兩個相機圖像共面，但此時圖像行不對準；r₁和r₂的分解公式如下：

建立行對準換行矩陣R_rect，實現(xiàn)相機圖像行對準；設(shè)：

R_rect＝[e₁ e₂ e₃]^T 公式(11)

其中，

e₁＝T′₁₂/||T′₁₂|| 公式(12)

T′₁₂＝[(T′₁₂)_x (T′₁₂)_y (T′₁₂)_z]^T 公式(13)

e₃＝e₁×e₂ 公式(15)

式中，e₁為與平移向量T′₁₂同方向上的極點，(T′₁₂)_x、(T′₁₂)_y和(T′₁₂)_z分別為x，y，z方向上的平移向量；e₂為與圖像平面同方向的向量；e₃為垂直于e₁和e₂所在平面的向量；

則兩相機圖像的行對準轉(zhuǎn)換矩陣R′₁和R′₂分別為：

R′₁＝R_rect·r₁ 公式(16)

R′₂＝R_rect·r₂ 公式(17)

同理，對相機1和相機3的圖像進行立體校正，利用分解公式(7)和(8)所得到的旋轉(zhuǎn)矩陣R′₁₃和平移向量T′₁₃，并建立行對準轉(zhuǎn)換矩陣，實現(xiàn)兩相機圖像共面行對準；

步驟4：將步驟3中得到的R′₁、R′₂和R′₃代入步驟1中的公式(1)中，對圖像進行立體校正，進而獲得棋盤格角點在三個相機圖像中對應位置匹配關(guān)系；

步驟5：利用步驟4得到的棋盤格角點在三個相機圖像中的位置對應關(guān)系，求解圖像間像素點位置關(guān)系模型；以相機1的圖像作為參照，分別求解相機2圖像與相機1圖像、相機3圖像與相機1圖像的像素點位置關(guān)系模型；

(1)以相機1和相機2拍攝的圖像為例，計算兩組圖像的基礎(chǔ)矩陣F₁₂；通過對各個相機的圖像標定點進行排序和編號，得到兩組圖像中棋盤格角點的匹配點列表，該列表經(jīng)過數(shù)據(jù)處理可計算出兩組圖像的基礎(chǔ)矩陣F₁₂，基礎(chǔ)矩陣是雙目相機圖像中點到直線上的一種映射，也是圖像中任意兩點之間的一種約束關(guān)系，這種約束關(guān)系為：

其中，(u₁，v₁)和(u₂，v₂)分別是棋盤格上同一角點在兩張圖像中的對應像素點坐標；

(2)獲取相機1和相機2拍攝到的兩圖像的極線，通過極線約束和順序一致性約束條件實現(xiàn)棋盤格角點的對應匹配；兩圖像對應的像素點(u₁，v₁)和(u₂，v₂)分別對應的極線l₁和l₂方程為：

聯(lián)立公式(18)、(19)和(20)，可得兩圖像對應的像素點(u₁，v₁)與(u₂，v₂)的關(guān)系模型：

(3)同理，設(shè)棋盤格角點x在相機3中對應的像素為(u₃，v₃)，計算出相機3和相機1圖像間的基礎(chǔ)矩陣F₁₃后，則有兩圖像對應的像素點(u₁，v₁)與(u₃，v₃)的關(guān)系模型：

式中，l₃為像素點(u₃，v₃)對應的極線；

步驟6：三相機有效視野范圍確定；考慮到有效的空間位置應該均在三臺相機的視野范圍內(nèi)，則有效空間視野范圍內(nèi)的世界坐標點(X_w，Y_w，Z_w)需滿足以下方程：

式中，(m₁，n₁)，(m₂，n₂)，(m₃，n₃)分別表示相機1、2和3所拍攝到的圖像尺寸；

步驟7：若相機的拍攝區(qū)域完全包含空間目標區(qū)域，則利用公式(1)即可確定三相機拍攝到圖像中的目標區(qū)域；若圖像的拍攝區(qū)域小于空間目標，或包含部分空間目標，則利用公式(23)確定三相機的有效視野范圍。