[發(fā)明專利]一種用于PCB板在線檢測(cè)的結(jié)構(gòu)光輔助雙目測(cè)量方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201510096014.2
• 申請(qǐng)日: 2015-03-04
• 公開（公告）號(hào): CN104713885B
• 公開（公告）日: 2017-06-30
• 發(fā)明（設(shè)計(jì)）人: 尚洋;李曉雪;張宏橋;劉建男;張紅良
• 申請(qǐng)（專利權(quán)）人: 中國人民解放軍國防科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G01N21/88
• 分類號(hào): G01N21/88;G01N21/956;G01B11/24
• 代理公司: 湖南省國防科技工業(yè)局專利中心43102
• 代理人: 馮青

1.一種用于PCB板在線檢測(cè)的結(jié)構(gòu)光輔助雙目測(cè)量方法，在結(jié)構(gòu)光輔助下，由兩臺(tái)攝像機(jī)構(gòu)成雙目攝像測(cè)量系統(tǒng)，其特征在于，在線標(biāo)定攝像機(jī)，并由自適應(yīng)投影結(jié)構(gòu)光紋理來完善PCB板表面紋理稀疏的區(qū)域，結(jié)合立體視覺，得到待檢測(cè)電路板表面的三維結(jié)構(gòu)，并最終用于實(shí)時(shí)缺陷檢測(cè)，步驟如下：

(1)PCB圖像分析以及自適應(yīng)投影結(jié)構(gòu)光

已知當(dāng)前批次型號(hào)PCB板理想圖案，則事先設(shè)置投影結(jié)構(gòu)光圖案；事先未知，則對(duì)第一張板采圖后，計(jì)算灰度方差，方差小的區(qū)域表示紋理少，確定其紋理不豐富區(qū)域位置，再根據(jù)圖像分析結(jié)果對(duì)相應(yīng)位置投影棋盤格圖案的結(jié)構(gòu)光；

(2)PCB缺陷檢測(cè)系統(tǒng)的雙面陣相機(jī)在線標(biāo)定

用兩個(gè)攝像機(jī)來模擬人眼的立體成像能力，立體標(biāo)定是把各個(gè)測(cè)量數(shù)據(jù)統(tǒng)一到統(tǒng)一的坐標(biāo)系中，也就是確定兩個(gè)攝像機(jī)之間的旋轉(zhuǎn)矩陣和平移向量，標(biāo)定原理如下：

對(duì)任意一個(gè)控制點(diǎn)P在左右影像上像點(diǎn)P_l、Pr，

滿足：

$\begin{array}{cc}{P}_1={\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\\ 1\end{array}\right]}_l=\left[\begin{array}{cc}{R}_1& T_l\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]& P_r={\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\\ 1\end{array}\right]}_r=\left[\begin{array}{cc}{R}_r& T_r\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\end{array}$

建立攝像機(jī)畸變模型，聯(lián)立多個(gè)控制點(diǎn)的方程，利用反投影法進(jìn)一步優(yōu)化求精，標(biāo)定后可以得到左右攝像機(jī)的外參數(shù)：旋轉(zhuǎn)R_l、R_r和平移參數(shù)T_l、T_r；

左右攝像機(jī)之間的關(guān)聯(lián)可以通過P_l＝R^T(P_r-T)關(guān)聯(lián)：

R＝R_r(R_l)T T＝T_r-RT_l

攝像機(jī)坐標(biāo)系以左攝像機(jī)的投影中心為原點(diǎn)，其中R和T分別表示了右攝像機(jī)相對(duì)于左攝像機(jī)的旋轉(zhuǎn)矩陣和平移向量，

現(xiàn)場(chǎng)調(diào)整內(nèi)參數(shù)，則需要先同時(shí)先左右攝像機(jī)各自標(biāo)定獲取各自內(nèi)參數(shù)外參數(shù)，再按上面步驟完成立體標(biāo)定；

(3)PCB左右影像的密集匹配

完成立體標(biāo)定后，得到左右兩個(gè)攝像機(jī)的姿態(tài)和位置，分析PCB的實(shí)時(shí)二維圖像，選用直方圖均衡和3*3均值濾波，密集匹配前，先根據(jù)PCB原始紋理和PCB基本固定不變位置關(guān)系進(jìn)行稀疏匹配，再對(duì)紋理稀缺位置投影棋盤格紋理形式的結(jié)構(gòu)光進(jìn)行加密匹配；

(4)PCB表面特征點(diǎn)的三維測(cè)量

利用攝像機(jī)內(nèi)參數(shù)、旋轉(zhuǎn)矩陣R和平移向量T求解投影矩陣M，將匹配得到的左右像片同名特征點(diǎn)代入共線方程中即交會(huì)求解PCB上這些特征點(diǎn)的三維空間坐標(biāo)，重建出的無數(shù)個(gè)PCB表面的特征點(diǎn)即恢復(fù)了對(duì)應(yīng)區(qū)域的三維結(jié)構(gòu)，將這樣三維信息重建圖用做PCB生產(chǎn)線路上缺陷檢測(cè)的參考；

所述PCB表面特征點(diǎn)的三維測(cè)量，具體為：

從攝影測(cè)量的共線方程出發(fā)，利用共線方程所描述的攝像機(jī)成像的中心透視投影關(guān)系，實(shí)現(xiàn)待檢測(cè)PCB表面特征點(diǎn)的三維測(cè)量，即所有需要檢測(cè)的PCB表面特征點(diǎn)的成像光線都通過光心、物點(diǎn)、像點(diǎn)，即三點(diǎn)共線，基于雙面陣相機(jī)的雙目交會(huì)即計(jì)算出該特征點(diǎn)的空間坐標(biāo)；

設(shè)P在攝像機(jī)坐標(biāo)系中的坐標(biāo)為(X_c,Y_c,Z_c),則用旋轉(zhuǎn)矩陣R和平移向量T描述(X_c,Y_c,Z_c)與點(diǎn)P在世界坐標(biāo)系中(X,Y,Z)的關(guān)系：

$\left[\begin{array}{c}{X}_C\\ Y_C\\ Z_C\end{array}\right]=R\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+T=\left[\begin{array}{ccc}{r}_0& r_1& r_2\\ r_3& r_4& r_5\\ r_6& r_7& r_8\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+\left[\begin{array}{c}{T}_X\\ T_Y\\ T_Z\end{array}\right]$

攝像機(jī)對(duì)待測(cè)點(diǎn)的成像用投影矩陣來表示，投影矩陣M為：

$M=\left[\begin{array}{cccc}{F}_x& 0& C_x& 0\\ 0& F_y& C_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]$

M中攝像機(jī)的主點(diǎn)為(C_x,C_y)，等效焦距為(F_x,F_y)，旋轉(zhuǎn)矩陣為R，平移向量為T，設(shè)待測(cè)點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)為(x,y)，圖像坐標(biāo)系中的像點(diǎn)與世界坐標(biāo)系中的目標(biāo)點(diǎn)的成像關(guān)系：

$Z_C\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=M\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

攝像機(jī)中修正像差后的像點(diǎn)滿足方程：

$\left\{\begin{array}{c}{\tilde{x}}_i=\frac{m_{0}X+m_{1}Y+m_{2}Z+m_3}{m_{8}X+m_{9}Y+m_{10}Z+m_{11}}\\ {\tilde{y}}_i=\frac{m_{4}X+m_{5}Y+m_{6}Z+m_7}{m_{8}X+m_{9}Y+m_{10}Z+m_{11}}\end{array}\right.$

$\left\{\begin{array}{c}({\tilde{x}}_i{m}_{i8}-m_{i0})X+({\tilde{x}}_i{m}_{i9}-m_{i1})Y+({\tilde{x}}_i{m}_{i10}-m_{i2})Z+({\tilde{x}}_i{m}_{i11}-m_{i3})=0\\ ({\tilde{y}}_i{m}_{i8}-m_{i4})X+({\tilde{y}}_i{m}_{i9}-m_{i5})Y+({\tilde{y}}_i{m}_{i10}-m_{i6})Z+({\tilde{y}}_i{m}_{i11}-m_{i7})=0\end{array}\right.$

每個(gè)像點(diǎn)列出2個(gè)方程，PCB上的特征點(diǎn)成像在2臺(tái)攝像機(jī)，因此列四個(gè)方程解求空間坐標(biāo)(X,Y,Z)這3個(gè)未知數(shù)，

其中，m₀、…m_i11:

m₀＝F_xr₀+C_xr₆

m₁＝F_xr₁+C_xr₇

m₂＝F_xr₂+C_xr₈

m₃＝F_xT_X+C_xT_Z

m₄＝F_xr₃+C_xr₆

m₅＝F_xr₄+C_xr₇

m₆＝F_xr₅+C_xr₈

m₇＝F_xT_Y+C_xT_Z

m₈＝r₆

m₉＝r₇

m₁₀＝r₈

m₁₁＝T_Z。