[發明專利]一種基于立體匹配的彩色圖像三維重建方法

有效

• 申請號: 201010503987.0
• 申請日: 2010-10-08
• 公開（公告）號: CN101976455A
• 公開（公告）日: 2011-02-16
• 發明（設計）人: 達飛鵬;曹云云
• 申請（專利權）人: 東南大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 黃雪蘭

1.一種基于立體匹配的彩色圖像三維重建方法，其特征在于，該重建方法依次含有以下步驟：

步驟1：圖像獲取

使用兩臺彩色攝像機同時從相差不大的兩個角度對同一個場景拍攝兩幅圖像，其中左邊的攝像機拍攝的為原始左圖像，右邊的攝像機拍攝的為原始右圖像；

步驟2：攝像機標定

分別對兩臺攝像機進行標定，建立攝像機圖像像素位置與場景位置之間的關系，獲得左邊的攝像機的內參數矩陣A_L、右邊的攝像機的內參數矩陣A_R和左邊的攝像機的外參數矩陣[R_L?t_L]、右邊的攝像機的外參數矩陣[R_R?t_R]；

步驟3：圖像對極線校正

根據步驟2得到的攝像機內外參數運用極線校正方法對所拍攝的左右圖像進行極線校正得到平行式雙目視覺模型，使匹配像素對具有相同的縱坐標，校正后的左圖像和右圖像分別記為I_l和I_r；

步驟4：初始匹配：

步驟4.1：確定候選視差范圍D：

D＝(d_min，d_max)，

其中d_min為最小視差，d_min＝0，d_max為最大視差，通過標記基準圖像和配準圖像之間的匹配像素點對求得：

隨機選取基準圖像中的十個像素點{pl1，pl2，pl3，…，pl10}，在配準圖像中分別尋找與{pl1，pl2，pl3，…，pl10}具有相同縱坐標和相近顏色信息的十個估算匹配像素點{pr1，pr2，pr3，…，pr10}，于是得到十組估算匹配像素對{(pl1，pr1)，(pl2，pr2)，(pl3，pr3)，…，(pl10，pr10)}，對每一組匹配像素對計算兩像素的橫坐標之差的絕對值得到一組視差值{d1，d2，d3，…，d10}，最大視差d_max＝max{d1，d2，...，d10}+5；

步驟4.2：自適應權重窗口算法

以校正后的左圖像I_l為基準圖像，以校正后的右圖像I_r為配準圖像，采用自適應權重窗口方法對基準圖像中的每一個像素點計算匹配代價并得到初始左視差圖，然后，以校正后的右圖像I_r為基準圖像，以校正后的左圖像I_l為配準圖像，采用自適應權重窗口方法對基準圖像中的每一個像素點計算匹配代價并得到初始右視差圖，所述的自適應權重窗口方法為：

步驟4.2.1：權重系數計算

首先將基準圖像記為I₁，配準圖像記為I₂，然后利用顏色和空間信息對兩幅圖像中每個像素點計算鄰域窗口內所有像素的權重系數E_pq：

Epq=e-(αΔpq+β||p-q||2),]]>

其中p是基準圖像或配準圖像中的像素點，q為以像素p中心、大小為n×n的鄰域窗口內的任一像素點，n＝35，Δpq表示在RGB空間下像素p和q之間的顏色差異，||p-q||₂是兩像素之前的歐氏距離，α和β為常系數，α＝0.1，β＝0.047；

步驟4.2.2：匹配代價計算

在水平極線約束下，對基準圖像中的每個像素計算候選視差范圍內所有視差值對應的匹配代價C(p₁，d)：

C(p1,d)=Σ(q1,q2)∈Wp1×Wp2Ep1q1×Ep2q2×S(q1,q2)Σ(q1,q2)∈Wp1×Wp2Ep1q1×Ep2q2,]]>

其中p₁為基準圖像中任一像素點，p₁的坐標為d為候選視差范圍D內的任一視差值，像素p₂為p₁在配準圖像中對應于視差d的候選匹配像素點，當基準圖像為左圖像時，p₂的坐標是當基準圖像為右圖像時，p₂的坐標是分別表示以像素點p₁，p₂為中心、大小為n×n的鄰域窗口，像素q₁為窗口內的任一鄰域像素點，坐標為像素q₂為窗口內的與q₁對應的像素點，，當基準圖像為左圖像時，q₂的坐標是基準圖像為右圖像時，q₂的坐標是和為根據步驟4.2.1求得的權重系數，S(q₁，q₂)為對應像素對(q₁，q₂)的差異度；

步驟4.2.3：計算初始視差值對每個像素計算匹配代價最小的視差值d⁰(p₁)：其中p₁為基準圖像中的任一像素點，D為候選視差范圍，d_min和d_max為最小視差和最大視差，C(p₁，d)是根據步驟4.2.1計算得到的匹配代價；匹配代價最小的視差值d⁰(p₁)為像素p₁的初始匹配視差結果；

步驟4.2.4：建立初始視差圖像

建立初始視差圖像D⁰：D⁰(i，j)＝d⁰(p_ij)，其中i和j分別為視差圖像像素點的橫坐標和縱坐標，p_ij是基準圖像中坐標為(i，j)的像素點，d⁰(p_ij)為步驟4.2.3中計算得到的p_ij的初始匹配視差結果；

如果基準圖像為左圖像I_l，將初始視差圖D⁰賦值給初始左視差圖D_l⁰，如果基準圖像為右圖像I_r，將初始視差圖D⁰賦值給初始右視差圖D_r⁰；

步驟5：像素可靠度標記：

步驟5.1：匹配代價可信度檢驗

將左圖像I_l所有像素按照匹配代價可信度分類，可信度較高的集合記為M_hc，可信度較低的集合為記為M_lc：左圖像I_l中的任一像素p_l匹配代價可信度為r(p_l)：C_min1為p_l初始匹配視差結果對應的匹配代價，即最小匹配代價值，而C_min2為p_l的第二小的匹配代價，然后設定閾值dist，當r(p_l1)＞dist時，p_l的匹配結果可信度為較高，p_l∈M_hc，否則可信度為較低，p_l∈M_lc，其中閾值dist取0.04；

步驟5.2：左右一致性校驗

對于左圖像中的任一像素p_l，坐標為p_l的初始視差結果在右圖像中對應的匹配像素p_r的坐標為根據步驟4得到的初始右視差圖像D_r⁰得到像素p_r的初始視差結果如果d₁＝d₂，則像素p_l通過左右一致性校驗，記為p_l∈M_ac，否則，像素p_l未通過左右一致性校驗，記為p_l∈M_bc，其中M_ac和M_bc分別為通過左右一致性校驗的集合和未通過左右一致性校驗的集合；

步驟5.3：像素可靠度系數標記

根據步驟5.1和5.2的結果對左圖像中每個像素標記可靠度系數Con(p_l)：

Con(pl)=4,ifpl∈Mhc∩Mac3,ifpl∈Mlc∩Mac2,ifpl∈Mhc∩Mbc1,ifpl∈Mlc∩Mbc]]>

其中p_l為左圖像中的任一像素，Con(p_l)為p_l的可靠度系數；

步驟6：圖像分割：

用Mean-Shift算法對左圖像進行分割，對每個像素標記所屬的分割區域S(p_l)，其中p_l為左圖像中任一像素，S(p_l)為像素p_l所屬的區域標號；

步驟7：全局優化

步驟7.1：像素平滑代價計算

計算左圖像中每個像素與該像素的上下左右四個鄰域像素之間的相對于視察范圍D內所有視差值的平滑代價J(p_l，q_l，d_p，d_q)：

J(p_l，q_l，d_p，d_q)＝min{|d_p-d_q|，|d_max-d_min|/8}，

其中p_l為左圖像中的任一像素，q_l為像素p_l的任一四鄰域像素，d_p和d_q分別為像素p_l和q_l的在視差范圍D內的任一視差，d_max和d_min為最大視差和最小視差；

步驟7.2：計算像素節點的置信度消息

迭代計算置信度消息，t為迭代的次數，初始值為0，當t＝50時停止迭代，每一次迭代的計算過程為：

t次迭代時，對左圖像中每個像素節點計算下一次迭代時該像素向四鄰域像素傳播的，相對于視差范圍D內每一個視差值的置信度消息

Mplqlt(d)=mindx∈D(C(pl,d)+Σqs∈N1(pl)/qlMqsplt-1(dx)+J(pl,ql,d,dx)),]]>

其中p_l為左圖像中任一像素，q_l為像素p_l的任意一個四鄰域像素，D為步驟4.1中定義的視差范圍，d為D內的任一視差值，C(p_l，d)為步驟4.2.2中計算得到的匹配代價，d_x為視差范圍D內的任一視差值，J(p_l，q_l，d，d_x)為步驟7.1求得的平滑代價，為t^-1次迭代求得的從像素q_s向p_l傳播的視差為d_x的置信度消息，t＝1時為0，d_x為視差范圍D內的任一視差值，q_x為像素p_l的選擇性鄰域N₁(p_l)內、不同于像素q_l的任一像素，所述的選擇性鄰域N₁(p_l)為：

N₁(p_l)＝{q_f|q_f∈N(p_l)，Con(q_f)≥Con(p_l)and?S(q_f)＝S(p_l)}，

式中N₁(p_l)為像素p_l的上下左右四鄰域，Con(q_f)和Con(p_l)為步驟5.3中標記的可靠度系數，S(q_f)和S(p_l)為步驟6中求得的像素q_f和p_l所屬的分割區域標號；

步驟7.3：計算左圖像中每個像素點相對于所有可能視差的置信度b(p_l，d)：其中p_l為左圖像中的任一像素，d為D內的任一視差值，C(p_l，d)為步驟4.2.2得到的匹配代價，為第50次迭代計算得到的從像素p_s向p_l傳播的視差為d的置信度消息，p_s為N₁(p_l)內的任一像素，N₁(p_l)為步驟7.2中定義的p_l的選擇性鄰域；

步驟7.4：計算視差圖像

根據每個像素的置信度計算最優視差值d(p_l)：

d(pl)=argmind∈Db(pl,d),]]>

其中p_l為左圖像中的任一像素，b(p_l，d)為步驟7.3計算得到的置信度，D為視差范圍，d為視察范圍D內的任一視差值；

根據左圖像中每個像素的最優視差建立最終視差圖像D^out：D^out(x，y)＝d(p_xy)，其中x和y分別為視差圖像D^out像素點的橫坐標和縱坐標，p_xy是基準圖像中坐標為(x，y)的像素點，d(p_xy)為p_xy的最優視差值；

步驟8：重建目標物的三維信息

根據步驟2得到的攝像機內外參數矩陣A_L、A_R和[R_L?t_L]、[R_R?t_R]，以及步驟7得到的視差圖D^out，通過空間交匯法計算得到整個目標物的三維點云模型。