[發明專利]一種基于結構光和多光場相機的三維檢測方法

有效

• 申請號: 202011431946.5
• 申請日: 2020-12-07
• 公開（公告）號: CN112630469B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 金欣;周思瑤
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G01P5/20
• 分類號: G01P5/20
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 方艷平

1.一種基于結構光和多光場相機的三維檢測方法，其特征在于，包括：搭建包括結構光光源和多個光場相機的三維檢測系統，將待檢測目標物的參考物放置在所述三維檢測系統的工作范圍內，對所述參考物進行基于結構光的三維重建得到參考物三維模型，再將待檢測目標物放置在所述三維檢測系統的工作范圍內，對所述待檢測目標物進行基于結構光的三維重建得到待檢測目標物三維模型；然后對所述參考物三維模型和所述待檢測目標物三維模型做三維檢測，輸出所述待檢測目標物的關鍵點的三維位置；

其中，基于結構光的三維重建步驟具體包括：

S1：通過多個所述光場相機相應采集多個光場，并標定出所述結構光光源發出的光線分別到多個光場的單應性矩陣；

S2：將所述三維檢測系統的工作范圍劃分為多個子視場，對每個所述子視場采用步驟S1得到的單應性矩陣配準對應的光場，得到多個子視場光場；

S3：對每個所述子視場光場，進行基于結構光的三維重建；

步驟S1中標定出所述結構光光源發出的光線分別到多個光場的單應性矩陣具體包括：

計算光場相機相對于標定板在空間中的位姿參數以及所述光場相機的內參，確定待檢測的目標物表面的三維空間坐標與所述光場相機所采集的光場中四維坐標點之間的對應關系以得到所述結構光光源發出的光線分別到多個光場的單應性矩陣；

步驟S1中標定出所述結構光光源發出的光線分別到多個光場的單應性矩陣具體包括：

采集帶有結構光條紋的標定板圖像，提取標定板圖像的角點與結構光條紋的中心特征點，經過篩選和匹配，再根據下述第一至第三轉換關系式求解世界坐標系與光場雙平面坐標系之間的轉換關系，得到所述結構光光源發出的光線分別到N個光場的單應性矩陣

第一轉換關系式為光線與相機坐標系下空間點的相交關系式：

其中，(i,j,x,y)是由自由空間中的物理雙平面坐標系參數化的光線坐標，(X_C,Y_C,Z_C)是對應相機坐標系下自由空間中的物點坐標，f為光場相機的焦距；

第二轉換關系式為世界坐標系下自由空間中的物點(X_W,Y_W,Z_W)與對應相機坐標系下自由空間中的物點(X_C,Y_C,Z_C)之間的轉換關系式：

其中R為旋轉矩陣，T為平移向量；

第三轉換關系式為解碼后的光場雙平面坐標系到物理雙平面坐標系的轉換關系式：

其中(u,v,s,t)表示光場雙平面坐標系下的光場像素點坐標，k_i,k_j,k_u,k_v,u₀,v₀為6個獨立的相機內部參數；

步驟S2中將所述三維檢測系統的工作范圍劃分為多個子視場，對每個所述子視場采用步驟S1得到的單應性矩陣配準對應的光場具體包括：

將所述三維檢測系統的工作范圍劃分為個M個子視場對于N個光場相機采集到的N個光場，分配情況由維度為M×N的邏輯矩陣[a_mn]_M×N表示，矩陣元素a_mn定義為：

其中，FoV_n為第n個光場的視場范圍，FoV_m為第m個子視場的范圍；a_mn為1時表示第n臺光場相機采集的光場對應第m個子視場，a_mn為0則表示第n臺光場相機采集的光場不對應第m個子視場；

對于第m個子視場F_m，在其對應的個光場中選定參考光場L_r，使用步驟S1得到的單應性矩陣配準該子視場對應的光場，將每個光場變換到參考光場L_r所在的光場雙平面坐標系：

L'＝HH^-1L

nnrn

其中，為對應第m個子視場的光場相機的數量；L_n'是第n個光場L_n經過單應性矩陣配準后的光場，H_n是第n個光場對應的單應性矩陣，H_r是參考光場對應的單應性矩陣；

步驟S3中對每個所述子視場光場，進行基于結構光的三維重建具體包括：

將每個子視場光場的像素點投影至世界坐標系，生成子視場空間點云，再使用Delaunay三角剖分法進行子視場中待檢測目標物關鍵部件的三維表面幾何紋理重建，其中子視場空間點云的坐標使用下式計算：

[X_W,Y_W,Z_W,1]^T＝Η_r^-1[u,v,s,t,1]^T

其中，(X_W,Y_W,Z_W)表示世界坐標系下自由空間中的物點坐標，(u,v,s,t)表示光場雙平面坐標系下的光場像素點坐標，H_r是參考光場對應的單應性矩陣。