[發(fā)明專利]圖像缺陷檢測(cè)方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)和程序產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202210586712.0
• 申請(qǐng)日: 2022-05-26
• 公開(kāi)（公告）號(hào): CN114943708A
• 公開(kāi)（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 袁肇飛;徐邵稀;付學(xué)寶;鄒軍;唐文博
• 申請(qǐng)（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06V10/764;G06V10/774;G06V10/82;G06N3/08
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 賈偉;胡春光

1.一種圖像缺陷檢測(cè)方法，其特征在于，所述方法包括：

獲取第一樣本集；根據(jù)所述第一樣本集對(duì)第一初始模型進(jìn)行預(yù)訓(xùn)練，得到訓(xùn)練完成的第一模型；所述第一樣本集包括多張無(wú)缺陷圖像；

獲取第二樣本集；根據(jù)所述第二樣本集對(duì)第二初始模型進(jìn)行訓(xùn)練，得到訓(xùn)練完成的第二模型；所述第二樣本集包括設(shè)置有正樣本標(biāo)簽的無(wú)缺陷圖像和設(shè)置有負(fù)樣本標(biāo)簽的有缺陷圖像；其中，所述第二初始模型是基于所述第一模型得到的；

獲取待檢測(cè)圖像，使用所述第二模型對(duì)所述待檢測(cè)圖像進(jìn)行缺陷檢測(cè)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一樣本集對(duì)第一初始模型進(jìn)行預(yù)訓(xùn)練，包括：

獲取所述第一樣本集中的每張圖像，將所述第一樣本集中的每張圖像調(diào)整到固定尺寸；

對(duì)調(diào)整后的每張圖像進(jìn)行預(yù)處理操作；

基于預(yù)處理操作后的每張圖像，對(duì)所述第一初始模型進(jìn)行預(yù)訓(xùn)練。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于預(yù)處理操作后的每張圖像，對(duì)所述第一初始模型進(jìn)行預(yù)訓(xùn)練，包括：

將所述預(yù)處理操作后的每張圖像劃分為大小相等的圖像小塊；

對(duì)所述劃分后的每張圖像的圖像小塊進(jìn)行扁平化處理，得到第一圖像塊序列；

將所述第一圖像塊序列和第一嵌入向量進(jìn)行組合，得到第一圖像塊向量序列；所述第一嵌入向量包括旋轉(zhuǎn)嵌入向量和位置嵌入向量；

將所述第一圖像塊向量序列輸入至第一初始模型進(jìn)行預(yù)訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在所述預(yù)處理操作包括Mask操作的情況下，所述將所述第一圖像塊向量序列輸入至第一初始模型進(jìn)行預(yù)訓(xùn)練，包括：

將所述第一圖像塊向量序列輸入至所述第一初始模型，得到輸出的圖像塊序列；

將所述輸出的圖像塊序列投影至圖像空間，得到重建圖像；

基于所述重建圖像和所述Mask操作前的圖像確定重建損失；

基于所述Mask操作前的圖像的類別標(biāo)簽確定旋轉(zhuǎn)損失；所述類別標(biāo)簽是根據(jù)所述Mask操作前的圖像的旋轉(zhuǎn)角度對(duì)應(yīng)設(shè)置的；

根據(jù)所述重建損失和所述旋轉(zhuǎn)損失，對(duì)所述第一初始模型進(jìn)行預(yù)訓(xùn)練。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第二樣本集對(duì)第二初始模型進(jìn)行訓(xùn)練，包括：

獲取所述第二樣本集中的每張圖像，將所述第二樣本集中的每張圖像調(diào)整到固定尺寸；

將調(diào)整后的每張圖像劃分為大小相等的圖像小塊，對(duì)所述劃分后的每張圖像對(duì)應(yīng)的圖像小塊進(jìn)行扁平化處理，得到第二圖像塊序列；

將所述第二圖像塊序列與第二嵌入向量進(jìn)行組合，得到第二圖像塊向量序列；所述第二嵌入向量包括分類嵌入向量和位置嵌入向量；

將所述第二圖像塊序列輸入至所述第二初始模型，得到每張圖像的缺陷分類結(jié)果；

基于所述每張圖像的缺陷分類結(jié)果和設(shè)置的樣本標(biāo)簽類型，確定分類損失；

根據(jù)所述分類損失，對(duì)所述第二初始模型進(jìn)行訓(xùn)練。

6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

在得到訓(xùn)練完成的第一模型后，獲取所述第一模型的骨干網(wǎng)絡(luò)；所述骨干網(wǎng)絡(luò)為ViT網(wǎng)絡(luò)；

對(duì)所述第一模型的ViT網(wǎng)絡(luò)添加分類頭，得到所述第二初始模型；所述分類頭用于得到圖像缺陷類別。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述對(duì)所述第一模型的ViT網(wǎng)絡(luò)添加分類頭，得到所述第二初始模型，包括：

在對(duì)所述第一模型的ViT網(wǎng)絡(luò)添加分類頭的基礎(chǔ)上，添加檢測(cè)頭，得到所述第二初始模型；所述檢測(cè)頭用于得到圖像缺陷位置。