[發明專利]一種基于幾何信息的人工復眼相機三維圖像處理方法

有效

• 申請號: 201810009183.1
• 申請日: 2018-01-05
• 公開（公告）號: CN108230273B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 張葛祥;吳思東;榮海娜
• 申請（專利權）人: 西南交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/11;G06T7/90
• 代理公司: 成都盈信專利代理事務所(普通合伙) 51245
• 代理人: 崔建中

1.一種基于幾何信息的人工復眼相機三維圖像處理方法，其特征在于，包括

S1、圖像提取，將人工復眼相機捕捉圖像根據成像通道位置提取出每個成像通道的圖像；

S2、通道圖像平場修正，消除每個通道圖像的邊緣衰減效應：

S21、對所有成像通道，采集一幅白色參考圖像W(x,y)和一幅黑色參考圖像B(x,y)；

S22、計算像素響應Pr(x,y)＝W(x,y)-B(x,y),對Pr(x,y)利用最小二乘法進行擬合得到像素響應P(x,y)；

S23、對每一通道采集的圖像I′(x,y)進行修正，得到修正后的通道圖像I(x,y)，

S3、計算每個通道圖像在對應候選深度d的空間坐標：

S31、計算每個通道圖像以各自成像中心為坐標原點的空間坐標T(D_x,D_y,d)，計算方法為：

其中Δψ_h和Δψ_v表示對應像素的水平和垂直入射角，計算方法為：

其中和表示通道主光軸的水平和垂直入射角；I_x和I_y表示像素的水平和垂直坐標；I_cx和I_cy表示圖像中心像素的水平和垂直坐標；Δθ表示相機的角度采樣間隔；

S32、將所有通道圖像的空間坐標轉換到以中心通道主光軸為原點的統一坐標系：針對在第i個通道的任意像素I(x,y)，其統一坐標系下的坐標T′(D′_x,D′_y,d)計算方法為：

其中O_ix和O_iy表示通道i的主光軸相對于中心通道主光軸的偏移量；

S4、基于每個通道圖像在不同深度d的空間坐標，計算不同候選深度d的匹配代價：

S41、在每個候選深度平面d，根據各個通道圖像像素的空間坐標，對圖像進行重采樣，采樣間隔為：

其中W和H分別表示重采樣圖像的水平和垂直長度；

S42、以每個重采樣點為中心，計算該點的重采樣亮度I′(rx,ry,d)和匹配代價C(rx,ry,d)：

其中I(k)表示在三維坐標k下的對應像素亮度；Ne表示以重采樣點I′(rx,ry,d)為中心，尺寸為Rw×Rw的窗口內的像素個數；m表示圖像的RGB通道；

S43、利用雙邊帶濾波對匹配代價進行聚合，獲得穩健的匹配代價，計算方法為：

其中(qx,qy)表示坐落在以(rx,ry)為中心的大小WL×WL的局部窗P的重采樣像素坐標點，作為中心像素(rx,ry)的支撐點；ω(qx,qy,d)表示結合顏色相似性和幾何接近性的支撐點(qx,qy)的權重：

其中Δcl表示兩個像素點在RGB顏色空間的相似度，

Δgl表示中心像素和支撐點的空間距離，

γ_a和γ_b是經驗值，用來調節顏色相似性和幾何接近性的影響；

S5、根據每個像素點在不同深度的匹配代價，對目標深度進行初始估計并對圖像進行重構：

S51、根據聚合匹配代價，利用WTA，即Winner-takes-all方法對目標深度進行估計，

S52、根據估計的目標深度，對重構圖像每個像素點的亮度按下式進行選擇，

In(rx,ry)＝I'(rx,ry,d'(rx,ry))；

S6、對S51所得的初始目標深度進行校正，具體包括：

S61、利用一種超級像素方法對S52所得重構圖像進行過分割，隨后對任意兩個相鄰的超級像素l和s根據其顏色相似度進行合并，

其中M和v分別表示超級像素在Lab顏色空間的均值和方差，α為人為設定參數，用于調節超級像素合并標準；

S62、對S51所得到的初始目標深度圖的穩健性進行判斷，得到穩健的稀疏深度圖；對每個像素點，按下式計算其深度穩健性，

其中Cs(rx,ry,d')和Cs(rx,ry,d1')分別表示像素點(rx,ry)的最小匹配代價和倒數第二小匹配代價，

因此稀疏深度圖D(rx,ry)可由下式所得，

其中λ為人為設定參數，用于調節穩健性的強度；

S63、利用S61的超級像素分割圖像，將屬于同一個超級像素的點中穩健的深度信息賦值到不穩健的像素點，如果同一超級像素中含有多個深度信息，則以多數為準；

S7、輸出結果：將S52的重構圖像以及S63得到的最后深度信息圖作為輸出，得到最終結果。