[發(fā)明專利]三維物體表面缺陷檢測方法

在審

• 申請?zhí)枺?/td>: 202110390016.8
• 申請日: 2021-04-12
• 公開（公告）號: CN113096094A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設計）人: 吳俊
• 申請（專利權）人: 成都市覽圖科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/73;G06T17/20;G06N3/04;G06N3/08
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 林菲菲

1.一種三維物體表面缺陷檢測方法，其特征在于，包括以下步驟：

步驟S1，利用被檢測物體的RGB圖像數(shù)據(jù)集訓練得到目標分割模型；

步驟S2，采集被檢測物體多個角度的圖像信息，利用所述目標分割模型對被檢測物體區(qū)域進行實時分割，以及實時重建被檢測物體，得到被檢測物體的點云模型；

步驟S3，基于被檢測物體的點云模型和三維模型進行姿態(tài)估計，得到被檢測物體在相機坐標系中的位姿；

步驟S4，計算所述三維模型上每個點的法向量，基于法向量的相似度對所述三維模型進行表面拆分，得到表面集、所述表面集對應的平坦程度集以及所述表面集在相機坐標系中的位姿集；

步驟S5，對所述表面集進行柵格化處理，得到所述被檢測物體表面缺陷檢測路徑；

步驟S6，按照所述缺陷檢測路徑，對被檢測物體表面進行缺陷檢測。

2.根據(jù)權利要求1所述的一種三維物體表面缺陷檢測方法，其特征在于，所述步驟S2具體包括：

步驟S21，采集當前時刻的被檢測物體的RGB圖像和深度圖像，并利用所述目標分割模型對采集的圖像進行實時處理，得到被檢測物體的第一點云和第一RGB圖像，并實時調整相機的姿態(tài)以及相機與被檢測物體的距離；

步驟S22，以所述第一點云的中心為圓點，控制搭載相機的移動平臺從當前位置繞被檢測物體轉動預設角度時采集被檢測物體的RGB圖像和深度圖像，并利用所述目標分割模型對采集的圖像進行實時處理，得到被檢測物體的第二點云和第二RGB圖像，并實時調整相機的姿態(tài)以及相機與被檢測物體的距離；

步驟S23，對所述第一點云和第二點云進行配準，將配準后的第一點云和第二點云融合得到點云在當前相機坐標系下的位姿，以融合后的點云更新所述第一點云，將更新后的第一點云作為新的第一點云；

步驟S24，重復步驟S22-步驟S23，直到所述第一RGB圖像和第二RGB圖像的相似度滿足預設條件則停止；

步驟S25，將所述新的第一點云作為被檢測物體的點云模型。

3.根據(jù)權利要求2所述的一種三維物體表面缺陷檢測方法，其特征在于，所述步驟S21和步驟S22中對采集的圖像進行實時處理以及實時調整相機的姿態(tài)以及相機與被檢測物體的距離具體包括：

步驟S211，將采集的RGB圖像輸入到所述目標分割模型中進行目標分割，得到被檢測物體的掩膜圖；

步驟S212，基于所述被檢測物體的掩膜圖，得到僅包括被檢測物體的深度圖像和RGB圖像，基于僅包括被檢測物體的深度圖像和RGB圖像生成點云；

步驟S213，計算所述被檢測物體的掩膜圖中掩膜區(qū)域的質心，并計算在像素坐標系下質心到掩膜圖中心的距離，并基于該距離調整相機姿態(tài)；

步驟S214，計算所述被檢測物體的掩膜圖中掩膜區(qū)域的邊界與掩模圖邊界的重合度，并根據(jù)該重合度來調整相機與被檢測物體之間的距離。

4.根據(jù)權利要求3所述的一種三維物體表面缺陷檢測方法，其特征在于，所述步驟S213具體包括：

通過下式計算得到像素坐標系下質心到掩膜圖中心的距離：

d_ccu＝u_mc-u₀；

d_ccv＝v_mc-v₀；

其中，u_mc為所述第一掩模圖中掩模區(qū)域A_mask的質心在像素坐標系u軸上的坐標值，u₀為所述第一掩模圖的中心在像素坐標系u軸上的坐標值，v_mc為所述第一掩模圖中掩模區(qū)域A_mask的質心在像素坐標系v軸上的坐標值，v₀為所述第一掩模圖的中心在像素坐標系v軸上的坐標值；

按照下述條件實時調整相機姿態(tài)：

如果d_ccu＜0，則控制相機繞相機坐標系的y軸沿逆時針方向旋轉；

如果d_ccu＞0，則控制相機繞相機坐標系的y軸沿順時針方向旋轉；

如果d_ccv＜0，則控制相機繞相機坐標系的x軸沿逆時針方向旋轉；

如果d_ccv＞0，則控制相機繞相機坐標系的x軸沿順時針方向旋轉。