[發(fā)明專利]產(chǎn)品缺陷的檢測方法、裝置及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910711208.7
• 申請日: 2019-08-01
• 公開（公告）號: CN110378900B
• 公開（公告）日: 2020-08-07
• 發(fā)明（設(shè)計）人: 付興銀;李廣
• 申請（專利權(quán)）人: 北京邁格威科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/33;G06T7/55;G06T7/73;G01N21/88
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 范彥揚(yáng)

1.一種產(chǎn)品缺陷的檢測方法，其特征在于，包括：

獲取待檢測產(chǎn)品的多張產(chǎn)品圖像；不同所述產(chǎn)品圖像的采集角度和/或采集位置不同；

通過預(yù)先訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型對所述產(chǎn)品圖像進(jìn)行缺陷檢測，得到每張所述產(chǎn)品圖像的缺陷信息；所述缺陷信息包括缺陷位置和/或缺陷種類；

基于每張所述產(chǎn)品圖像的缺陷信息確定初始缺陷檢測結(jié)果；

對所述初始缺陷檢測結(jié)果進(jìn)行驗證；

基于驗證后的初始缺陷檢測結(jié)果確定最終缺陷檢測結(jié)果；

所述缺陷信息包括缺陷位置；所述基于每張所述產(chǎn)品圖像的缺陷信息確定初始缺陷檢測結(jié)果的步驟，包括：

獲取每張所述產(chǎn)品圖像與預(yù)先建立的所述待檢測產(chǎn)品的3D模型之間的映射關(guān)系；

基于所述映射關(guān)系，將每張所述產(chǎn)品圖像檢測到的缺陷位置投射到所述3D模型上，基于投射位置確定所述3D模型的缺陷位置；

根據(jù)所述3D模型的缺陷位置確定初始缺陷檢測結(jié)果；

所述對所述初始缺陷檢測結(jié)果進(jìn)行驗證的步驟，包括：對于所述3D模型的每個缺陷位置，根據(jù)產(chǎn)品圖像與所述3D模型之間的映射關(guān)系，確定應(yīng)出現(xiàn)與所述3D模型的該缺陷位置對應(yīng)的缺陷的產(chǎn)品圖像的理論數(shù)量；基于每張所述產(chǎn)品圖像的缺陷信息，確定經(jīng)所述神經(jīng)網(wǎng)絡(luò)模型檢測出的具有該缺陷位置對應(yīng)的缺陷的產(chǎn)品圖像的實際數(shù)量；計算所述實際數(shù)量與所述理論數(shù)量的第一比值；如果所述第一比值低于預(yù)設(shè)第一數(shù)值，確定所述初始缺陷檢測結(jié)果中包含的該缺陷位置對應(yīng)的缺陷為偽缺陷；

或者，

所述對所述初始缺陷檢測結(jié)果進(jìn)行驗證的步驟，包括：對于所述3D模型的每個缺陷位置，根據(jù)每張所述產(chǎn)品圖像與所述3D模型之間的映射關(guān)系，將所述3D模型的該缺陷位置逆投射至每張所述產(chǎn)品圖像；將出現(xiàn)與所述3D模型的該缺陷位置對應(yīng)的逆投射缺陷的產(chǎn)品圖像確定為缺陷圖像；計算所述缺陷圖像的數(shù)量與經(jīng)所述神經(jīng)網(wǎng)絡(luò)模型檢測出的具有該缺陷位置對應(yīng)的缺陷的產(chǎn)品圖像的數(shù)量的第二比值；如果所述第二比值低于預(yù)設(shè)第二數(shù)值，確定所述初始缺陷檢測結(jié)果中包含的該缺陷位置對應(yīng)的缺陷為偽缺陷。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取待檢測產(chǎn)品的多張產(chǎn)品圖像的步驟，包括：

獲取圖像采集設(shè)備在多個指定位置下對所述待檢測產(chǎn)品進(jìn)行多角度拍攝得到的多張產(chǎn)品圖像。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取圖像訓(xùn)練集；所述圖像訓(xùn)練集包括多張標(biāo)記有缺陷信息的訓(xùn)練圖像；多張所述訓(xùn)練圖像是圖像采集設(shè)備基于多個采集位置和每個所述采集位置下的多個采集角度得到的；

將所述圖像訓(xùn)練集輸入至待訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述產(chǎn)品圖像為2D圖像；所述獲取每張所述產(chǎn)品圖像與預(yù)先建立的所述待檢測產(chǎn)品的3D模型之間的映射關(guān)系的步驟，包括：

從多張所述2D圖像中選取一張目標(biāo)2D圖像，獲取所述目標(biāo)2D圖像對應(yīng)的深度圖像；

建立所述目標(biāo)2D圖像和所述深度圖像之間的映射關(guān)系；

基于點云配準(zhǔn)算法對所述深度圖像與預(yù)先建立的所述待檢測產(chǎn)品的3D模型進(jìn)行點云配準(zhǔn)，得到所述深度圖像與所述3D模型之間的映射關(guān)系；

基于所述目標(biāo)2D圖像和所述深度圖像之間的映射關(guān)系，以及所述深度圖像與所述3D模型之間的映射關(guān)系，得到所述目標(biāo)2D圖像與所述3D模型之間的映射關(guān)系；

基于所述目標(biāo)2D圖像的采集位置與其它所述2D圖像的采集位置之間的映射關(guān)系，以及所述目標(biāo)2D圖像與所述3D模型之間的映射關(guān)系，得到其它所述2D圖像與所述3D模型之間的映射關(guān)系。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于投射位置確定所述3D模型的缺陷位置的步驟，包括：

將每張所述產(chǎn)品圖像的缺陷位置投射至所述3D模型所得到的投射位置進(jìn)行聚類，基于聚類結(jié)果確定所述3D模型的缺陷位置。