[發(fā)明專利]缺陷檢測(cè)方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110295450.8
• 申請(qǐng)日: 2021-03-19
• 公開(kāi)（公告）號(hào): CN112967264A
• 公開(kāi)（公告）日: 2021-06-15
• 發(fā)明（設(shè)計(jì)）人: 王新江;張士龍;方仕杰;陳愷
• 申請(qǐng)（專利權(quán)）人: 深圳市商湯科技有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/73;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

1.一種缺陷檢測(cè)方法，其特征在于，包括：

獲取待檢測(cè)產(chǎn)品的產(chǎn)品圖像以及與所述產(chǎn)品圖像匹配的模板圖像；

對(duì)所述產(chǎn)品圖像及所述模板圖像分別進(jìn)行特征提取，得到所述產(chǎn)品圖像的第一特征圖以及所述模板圖像的第二特征圖；

對(duì)所述第一特征圖與所述第二特征圖之間的相關(guān)性進(jìn)行分析，得到所述第一特征圖與所述第二特征圖之間的相關(guān)性注意力圖；

基于所述相關(guān)性注意力圖對(duì)所述第一特征圖、所述第二特征圖進(jìn)行融合，得到第一融合特征圖；

對(duì)所述第一融合特征圖進(jìn)行檢測(cè)，得到所述產(chǎn)品圖像的缺陷檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在獲取待檢測(cè)產(chǎn)品的產(chǎn)品圖像以及與所述產(chǎn)品圖像匹配的模板圖像之前，所述方法還包括：

對(duì)所述產(chǎn)品圖像和初始模板圖像分別進(jìn)行特征點(diǎn)提取，得到所述產(chǎn)品圖像中第一預(yù)設(shè)數(shù)量的第一特征點(diǎn)，以及所述初始模板圖像中所述第一預(yù)設(shè)數(shù)量的第二特征點(diǎn)；

對(duì)所述第一特征點(diǎn)與所述第二特征點(diǎn)進(jìn)行特征點(diǎn)匹配，確定出所述產(chǎn)品圖像與所述初始模板圖像中的特征點(diǎn)對(duì)，每個(gè)特征點(diǎn)對(duì)包括相匹配的一個(gè)第一特征點(diǎn)和一個(gè)第二特征點(diǎn)；

在所述特征點(diǎn)對(duì)的數(shù)量大于或等于數(shù)量閾值的情況下，根據(jù)所述特征點(diǎn)對(duì)中特征點(diǎn)的位置，確定所述初始模板圖像到所述產(chǎn)品圖像的仿射變換矩陣；

根據(jù)所述仿射變換矩陣，對(duì)所述初始模板圖像進(jìn)行變換，得到所述模板圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在確定出所述產(chǎn)品圖像與所述初始模板圖像中的特征點(diǎn)對(duì)之后，所述方法還包括：

在所述特征點(diǎn)對(duì)的數(shù)量小于所述數(shù)量閾值的情況下，再次對(duì)所述產(chǎn)品圖像和初始模板圖像分別進(jìn)行特征點(diǎn)提取，得到所述產(chǎn)品圖像中第二預(yù)設(shè)數(shù)量的第一特征點(diǎn)，以及所述初始模板圖像中所述第二預(yù)設(shè)數(shù)量的第二特征點(diǎn)，

其中，所述第二預(yù)設(shè)數(shù)量大于所述第一預(yù)設(shè)數(shù)量。

4.根據(jù)權(quán)利要求1-3中任意一項(xiàng)所述的方法，其特征在于，所述方法通過(guò)特征提取網(wǎng)絡(luò)對(duì)所述產(chǎn)品圖像及所述模板圖像分別進(jìn)行特征提取，所述特征提取網(wǎng)絡(luò)包括第一子網(wǎng)絡(luò)、第二子網(wǎng)絡(luò)及第三子網(wǎng)絡(luò)，

其中，所述對(duì)所述產(chǎn)品圖像及所述模板圖像分別進(jìn)行特征提取，得到所述產(chǎn)品圖像的第一特征圖以及所述模板圖像的第二特征圖，包括：

將所述產(chǎn)品圖像及所述模板圖像分別輸入所述第一子網(wǎng)絡(luò)中處理，輸出所述產(chǎn)品圖像的第一中間特征圖及所述模板圖像的第二中間特征圖；

將所述第一中間特征圖輸入所述第二子網(wǎng)絡(luò)中處理，輸出所述第一特征圖；

將所述第二中間特征圖輸入所述第三子網(wǎng)絡(luò)中處理，輸出所述第二特征圖。

5.根據(jù)權(quán)利要求1-4中任意一項(xiàng)所述的方法，其特征在于，所述對(duì)所述第一特征圖與所述第二特征圖之間的相關(guān)性進(jìn)行分析，得到所述第一特征圖與所述第二特征圖之間的相關(guān)性注意力圖，包括：

針對(duì)所述第一特征圖中的任一第三特征點(diǎn)，分別確定所述第三特征點(diǎn)與所述第二特征圖中的多個(gè)相關(guān)特征點(diǎn)之間的相關(guān)系數(shù)，其中，所述相關(guān)特征點(diǎn)包括所述第二特征圖中，與所述第三特征點(diǎn)位置對(duì)應(yīng)的第四特征點(diǎn)，以及與所述第四特征點(diǎn)之間的距離小于或等于距離閾值的特征點(diǎn)；

根據(jù)所述第三特征點(diǎn)與所述多個(gè)相關(guān)特征點(diǎn)之間的相關(guān)系數(shù)，確定所述第三特征點(diǎn)的相關(guān)性注意力值；

根據(jù)所述第一特征圖的多個(gè)第三特征點(diǎn)的相關(guān)性注意力值，確定所述相關(guān)性注意力圖。

6.根據(jù)權(quán)利要求1-5中任意一項(xiàng)所述的方法，其特征在于，所述基于所述相關(guān)性注意力圖對(duì)所述第一特征圖、所述第二特征圖進(jìn)行融合，得到第一融合特征圖，包括：

將所述第一特征圖與所述第二特征圖融合，得到第二融合特征圖；

將所述第二融合特征圖與所述相關(guān)性注意力圖融合，得到所述第一融合特征圖。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將所述第一特征圖與所述第二特征圖融合，得到第二融合特征圖，包括：

對(duì)所述第二特征圖進(jìn)行卷積，得到第三特征圖；

對(duì)所述第一特征圖與所述第三特征圖進(jìn)行相加或拼接，得到所述第二融合特征圖。